企业大模型

零门槛部署满血版deepseek-r1模型，无显卡也可部署

提供了一份零门槛部署 DeepSeek-R1 大模型的实操教程。文章详细讲解了在无需高性能显卡的硬件条件下，如何选择合适的动态量化模型版本，并给出了从环境准备到命令行运行的具体步骤，让普通配置设备也能顺畅运行私有化 AI 模型。

2025.02.16 零门槛部署满血版deepseek-r1模型，无显卡也可部署

废话不多说直接开始：

1. 首先下载安装ollama，他可以让cpu与gpu共同配合使用，不用堆那么多显卡即可运行，单推理速度肯定是gpu来得快，后面我会讲解如何分配cpu与gpu内存，无显卡也可使用ollama，但推理效率极低

https://ollama.com/download

普通蒸馏过的量化版本模型可以通过ollama run deepseek-r1:xxb 即可一键运行，这里主要介绍满血如何构建ollama服务然后运行起来。

2. 下再需要部署的满血量化模型，推荐unsloth提供的动态量化模型版本，这里我们下周的是Q2_K_XL

3. 把模型上传至服务器

4. 下载llama.cpp工具，不同服务器环境下载不同版本，因为这里需要将这多个gguf模型文件合并成单个gguf，合并后才能给予ollama生成服务

https://github.com/ggml-org/llama.cpp

下载成功后上传服务器通过unzip解压，解压完成得到如下工具集，我们只需要使用llama-gguf-split工具即可

在llama.cpp文件夹下执行如下命令，注意下面文件路径需要修改，00001-of-00005代表有多少个文件，最后得到DeepSeek-R1-UD-Q2_K_XL.gguf文件

./llama-gguf-split  --merge 
/opt/ds/model/deepseekR1/DeepSeek-R1-UD-Q2_K_XL-00001-of-00005.gguf 
/opt/ds/model/deepseekR1/DeepSeek-R1-UD-Q2_K_XL.gguf

执行如下显示正在进行中

5. 任意目录创建Modelfile文件,打开文件

touch Modelfile
vim Modelfile

创建Modelfile文件内容

FROM /opt/ds/model/deepseekR1/DeepSeek-R1-UD-Q2_K_XL.gguf //前面合并生成的gguf
PARAMETER num_predict -1 //不限制回答数量
TEMPLATE "<｜User｜>{{ .System }} {{ .Prompt }}<｜Assistant｜>" //提问模板

执行命令：

ollama create deepseek-r1 -f Modelfile

6. 修改ollama配置文件，运行外网方便，配置gpu占用100%

vim /etc/systemd/system/ollama.service

注意这里CUDA_VISIBLE_DEVICES根据自己显卡来输入，我这里显卡8张则0-7编号可通过nvidia-smi查看

再执行如下命令刷新服务

systemctl daemon-reload
systemctl restart ollama

7. ollama查看与运行服务

运行任务：ollama run deepseek-r1:latest