目前我见到的全网硬件成本最低运行DeepSeek R1 671b满血版完整指南（翻译）
2025年2月8日大约 3 分钟
目前我见到的全网硬件成本最低运行DeepSeek R1 671b满血版完整指南（翻译）
Deepseek AI本地推理设备搭建
好消息：基于我们一直使用的AMD EPYC Rome基准系统获得了稳定性能表现😁 这套初始配置依然出色！设备拥有者现在可以在Q4 671b完整模型上获得4.25-3.5 TPS（每秒令牌数）。完整版16K以上上下文窗口的模型体验远胜精简版，值得投入。纯CPU运行时可同时运行视觉模型等小型模型。
2024/02/01补充参数：
空载功耗：60W（未接GPU）
满载功耗：260W
当前内存速度：2400（3200可能有性能提升）
本地AI CPU计算硬件
若已按我之前的3090四卡指南装机，恭喜你！7702依然强劲。建议升级同价位性能更强的CPU，但本文结果基于7702。MZ32-AR0主板通过16个DDR4 3200内存插槽可轻松实现512GB-1TB内存扩容（注意：不能混用LRDIMM和RDIMM内存！）
本地AI设备组件
- 机架框架 $55
- MZ32-AR0主板 $500
- 420mm水冷 Corsair h170i elite capellix xt $170
- EPYC水冷支架
- AMD EPYC 7702（64核）$650 / 7V13 $599 / 7C13 $735
- 512GB 2400 ECC内存 $400
- 1TB NVMe 三星980 Pro $75
- 850W电源 $80（纯CPU推理够用，需接GPU建议1600W）
(2025年1月29日报价)
总成本约$2000（使用512GB 2400内存和7702时）。建议优先升级7C13/7V13 CPU，其次768GB内存，最后考虑3200内存。
服务器架设要点
- 内存散热：用4个80mm风扇组成风墙直吹内存条
- 主板升级：MZ32-AR0 V3版主板直接支持Milan架构CPU
- BIOS设置：NPS=1、SMT关闭、cTDP=200、BoostFmax=3400等
本地AI软件部署
Ubuntu 24基础安装
- 通过BMC管理界面挂载Ubuntu 24.04 ISO
- BIOS设置：UEFI/Legacy模式、性能优先配置
- 网络配置：使用netplan设置静态IP
Ollama安装步骤
# 安装基础工具
sudo apt install -y htop git glances nano
# 下载安装Ollama
curl -L <https://ollama.com/download/ollama-linux-amd64.tgz> -o ollama.tgz
sudo tar -C /usr -xzf ollama.tgz
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 服务配置
sudo nano /etc/systemd/system/ollama.service
# 添加环境变量：
Environment=OLLAMA_NUM_PARALLEL=62
Environment=OLLAMA_KEEP_ALIVE=3hOpenWEBUI部署
# 安装Docker
sudo apt-get install docker-ce
# 部署Dockge管理界面
sudo mkdir -p /opt/stacks /opt/dockge
cd /opt/dockge
sudo curl -O <https://raw.githubusercontent.com/louislam/dockge/master/compose.yaml>
docker compose up -d
# OpenWEBUI配置
version: "3.3"
services:
open-webui:
ports:
- 7000:8080
image: ghcr.io/open-webui/open-webui:latest性能优化建议
- 上下文长度设置为16384（16K）
- 线程数设为62（保留2个核心）
- 启用mlock防止内存分页
- 保持连接存活时间3小时
完整配置后可实现3.5-4.25 TPS的推理速度。该方案虽需技术调试，但能获得完整版模型的优质体验。后续将推出llama.cpp等框架的优化指南。