本地部署DeepSeek R1教程_其它_山海自留地
山海自留地
本地部署DeepSeek R1
步骤1：安装Ollama
打开ollama官网，下载安装 https://ollama.com/
ollama -v
ollama -v 查看是否安装成功
步骤2：部署DeepSeek R1模型
下载模型：在终端（terminal）输入
ollama pull deepseek - r1:14b（根据你的显存大小选择版本，16g 就可以选择14b/32b 。）
ollama pull deepseek - r1:14b
查看模型：输入
ollama list查看模型是否下载成功以及模型名称
ollama list
运行模型：下载完成后，直接在终端运行
ollama run deepseek - r1:14b，然后就可以和模型对话了。
ollama run deepseek - r1:14b
步骤3：安装Chatbox ， 也可以选择其它对话客户端
打开Chatbox官网（https://chatboxai.app/zh）
设置选择ollama本地模型运行
步骤4：自定义模型
Hugging Face下载模型：https://huggingface.co/
创建Modelfile文件：创建一个名为Modelfile的纯文本文件，不要有后缀，内容示例如下：
FROM D:\Computer\AILLM\OLLAMA\hfmodels\Llama-3.2-3B-Q8/Llama-3.2-3B-Instruct-Q8_0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """You are a helpful academic expert in the field of artificial intelligence, skilled at answering technical questions, polishing and writing academic papers,
and providing accurate and professional answers. 你是一个乐于助人的人工智能领域学术专家，擅长回答技术问题、学术论文润色与撰写，提供准确又专业的答案。"""
PARAMETER temperature 0.2
PARAMETER num_keep 24
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"生成自定义模型：输入以下命令生成一个自定义模型
ollama create my-deepseek -f Modelfile。
ollama create my-deepseek -f Modelfile
9.运行定制模型：运行你的专属定制模型 ollama run my-deepseek 。
ollama run my-deepseek
恭喜！你已经拥有一个完全根据你需求定制的AI助手啦！
显卡要求
Model | Parameters (B) | VRAM Requirement (GB) | Recommended GPU |
DeepSeek - R1 - Zero | 671B | ~1,342 GB | Multi - GPU setup (e.g., NVIDIA A100 80GB x16) |
DeepSeek - R1 | 671B | ~1,342 GB | Multi - GPU setup (e.g., NVIDIA A100 80GB x16) |
DeepSeek - R1 - Distill - Qwen - 1.5B | 1.5B | ~0.75 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek - R1 - Distill - Qwen - 7B | 7B | ~3.5 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek - R1 - Distill - Llama - 8B | 8B | ~4 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek - R1 - Distill - Qwen - 14B | 14B | ~7 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek - R1 - Distill - Qwen - 32B | 32B | ~16 GB | NVIDIA RTX 4090 24GB |
DeepSeek - R1 - Distill - Llama - 70B | 70B | ~35 GB | Multi - GPU setup (e.g., NVIDIA RTX 4090 x2) |
Copyright ©
山海自留地 All Reserved.