本地部署 DeepSeek，AMD 銳龍 AI 助力
DeepSeek 近期大受歡迎，但由于服務器負載限制，經(jīng)常會出現(xiàn)無響應的情況。因此，本地部署體驗成為更好的選擇，具體規(guī)模取決于硬件配置。
AMD 銳龍 AI 處理器擁有業(yè)內(nèi)最強大的 NPU，算力高達 50 TOPS（每秒 50 萬億次計算），是體驗 DeepSeek 的理想選擇。
如果您擁有 AMD 銳龍 AI 筆記本，可以通過 LM Studio 輕松在本地部署、體驗 DeepSeek R1 精簡版推理模型。
操作步驟：
- 安裝 AMD Adrenalin 25.1.1 或更新版本的顯卡驅動。
- 打開 lmstudio.ai/ryzenai，下載 LM Studio 0.3.8 或更新版本。
- 安裝并啟動 LM Studio，跳過引導屏幕。
- 點擊“發(fā)現(xiàn)”標簽頁。
- 選擇適合自己硬件的 DeepSeek R1 Distill 模型，具體選擇見后。
- 在軟件頁面右側，勾選“Q4 K M”量化模式，然后點擊“下載”。
- 下載完成后，返回聊天選項頁，從下拉菜單中選擇 DeepSeek R1 distill，并確保勾選“手動選擇參數(shù)”選項。
- 在“GPU 卸載”中，將滑塊移至最大值。
- 點擊“模型加載”。
- 現(xiàn)在，您可以在本地體驗 DeepSeek R1 推理模型了！
不同硬件配置支持的不同參數(shù)量：
- AMD 銳龍 AI MAX395 處理器，搭配 64GB 或 128GB 內(nèi)存，最高支持 DeepSeek-R1-Distill-Llama-70B。
- 搭配 32GB 內(nèi)存，可支持 DeepSeek-R1-Distill-Qwen-32B。
- AMD 銳龍 AI HX 370、AI 365 處理器，搭配 24GB 或 32GB 內(nèi)存，支持 DeepSeek-R1-Distill-Qwen-14B。
- AMD 銳龍 7040/8040 系列，搭配 32GB 內(nèi)存，支持 DeepSeek-R1-Distill-Qwen-14B。
AMD 推薦將所有 Distill 運行在 Q4 K M 量化模式。
如果您使用的是臺式機，AMD RX 7000 系列顯卡也支持本地部署 DeepSeek R1。
- RX 7900 XTX 旗艦顯卡最高支持 DeepSeek-R1-Distill-Qwen-32B。
- RX 7900 XT、7900 GRE、7800 XT、7700 XT、7600 XT 均支持 DeepSeek-R1-Distill-Qwen-14B。
- RX 7600 和 RX 7650 GRE 適合 DeepSeek-R1-Distill-Llama-8B。
（舉報）