DeepSeek-R1私有化大模型本地部署教程
大家好,我是@深圳的陽
今天為大家分享的是本地部署DeepSeek-R1私有化大模型方法。
本地部署可以有效保護我們的隱私數據不被泄露,而且使用更加穩定,尤其是最近DeepSeek經常被惡意攻擊,
導致服務無法使用,本地部署就可以很好的避免這個問題,而且不依賴網絡,更加靈活自由。
推薦使用Ollama框架,打開Ollama官網:https://ollama.com
首先下載客戶端,直接從官網下載速度非常慢,很難下載成功,
分享一個方法可以輕松下載下來,先復制你需要下載的客戶端文件地址。
然后訪問這個Github文件加速中轉站點 https://github.moeyy.xyz
可以看到下載速度快了很多。
然后運行安裝程序,點擊Install。
等待軟件自動安裝,文件會自動安裝到C盤。
安裝好后,按Windows+R鍵,輸出CMD命令并回車。
在命令行窗口輸入Ollama回車,如果顯示以下信息,則說明安裝成功了。
接下來返回Ollama官網,輸入deepseek-r1,此時可以看到R1模型了。
671b這個模型文件非常大,有404GB,不僅下載需要很久,而且對顯存要求非常高,推薦大家選擇32b的和70b的,這兩個日常需求足夠了。
這里拿32b的模型做演示,復制ollma官網上這行命令。
返回剛才打開的CMD命令行,粘貼并回車,開始下載所需模型文件。
如果卡住不動可以試試開啟魔法網絡模式,你懂的。
下載完成后界面如下圖所示:
執行ollma list命令查看下載好的模型文件列表。
下次如果想重新啟動DeepSeek,再次執行CMD命令打開命令行窗口,使用ollama run + 模型名字。
比如:ollama run?deepseek-r1:32b
我們測試一下,提個問題看看本地部署的DeepSeek回答效果。可以看到本地部署的DeepSeek成功的響應了我們的問題。
如果你覺得這樣使用體驗不夠好,還可以安裝一個Web版的插件來接入這個本地模型,Chrome插件商店里搜Page Assist并安裝。
啟動大模型后,在Chrome瀏覽器中啟用剛才安裝好的Page Assist插件。首次使用需要進行一些基本的配置,打開右上角的設置,修改語言為中文并保存。
RAG里的文本嵌入模型選擇DeepSeek-R1:32b。
最后返回聊天窗口,此時就可以在Web界面用我們本地搭建的DeepSeek大模型了,對于有本地部署需求的朋友快去試試吧。
Ollama安裝程序已經放在網盤了,點擊文章最頂部右上角的下載選項即可獲取。