本地部署DeepSeek-R1大模型
大家好，我是冷水泡茶。最近有个AI大模型DeepSeek非常火，它性能卓越，直接挑战GPT-4o，而且免费开源，还可以本地部署，强悍得不要不要的。关键的一点，它是目前为止，最强悍的国产大模型。我们今天来试一试本地部署，不用联网也能使用。1、下载 Ollama，这是一个用于本地运行AI模型的工具平台，下载地址：https://ollama.com/
我们点“Download”下载：
图片
接下来会自动匹配你的操作系统，如果没有问题，点击下载链接下载安装文件（我的电脑是WINDOWS操作系统，系统要求Win10以上，安装文件有745M）：
图片
2、下载一个Chrome插件：Page Assist，这是一个可以在浏览器里运行本地AI模型的插件，Edge浏览器也适用，插件地址：
https://chromewebstore.google.com/detail/page-assist-本地-ai-模型的-web/jfgfiigpkhlkbnfnbobbkinehhfdhndo
图片
也可以在应用商店搜：Page Assist3、Python（这个不确定需不需要，在向几个AI提问如何用ollama部署本地大模型的时候，都提到安装Python以及相关依赖库，反正我的电脑上是安装了Python的）。安装1、双击下载好的安装文件，OllamaSetup.exe。
2、安装好以后它会自动运行，在任务栏我们可以看到：
图片
我们打开命令行，执行以下命令安装相应的模型，显存4G以下的，我们选1.5B的（我的电脑显存只有2G）。1.5B Qwen DeepSeek R1
ollama run deepseek-r1:1.5b
7B Qwen DeepSeek R1
ollama run deepseek-r1:7b
8B Llama DeepSeek R1
ollama run deepseek-r1:8b
14B Qwen DeepSeek R1
ollama run deepseek-r1:14b
32B Qwen DeepSeek R1
ollama run deepseek-r1:32b
70B Llama DeepSeek R1
ollama run deepseek-r1:70b
图片
等待拉取模型成功图片
使用1、在命令行直接输入对话：
图片
2、关闭对话后，如果要重新运行，同样地，我们输入以下命令，不过，这次它不会再去拉取模型了：
ollama run deepseek-r1:1.5b
图片
3、在浏览器中运行，点击插件，选择模型：
图片
我们点击右边的“设置”，选择RAG设置，选择文本嵌入模型，其他的暂时不动，记得保存：
图片
我们试一下，问一个推理问题：昨天的明天是哪天？
图片
回答正确，速度也很快！不过有点遗憾的是，我再问它同样的问题的时候，它就回答错了。可能是参数较小的关系，我在它官方网站上连续两次提问：
“昨天的今天是哪天？
它都准确地回答是“今天”。
写在最后1、本地部署成功，但是运行速度有时候有点卡，这跟电脑配置有关系。
2、除非是没有任何网络，我觉得本地模型的意义不是很大，一则电脑硬件实在有限，运行速度慢，二则模型的参数量太小，精度不高，功能有限。我后来又下载了一个7B的模型，运行速度就慢得很，差点死机。
3、如果把数据安全保密放在第一位的，我们选择本地模型没毛病，特别是要使用专门的知识库进行训练的。这时候我们应该考虑提升电脑硬件配置啦。
今天就到这里，我们下期再会！
~~~~~~End~~~~~~ 本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。