Deepseek AI本地推理设备搭建

好消息：基于我们一直使用的AMD EPYC Rome基准系统获得了稳定性能表现😁 这套初始配置依然出色！设备拥有者现在可以在Q4 671b完整模型上获得4.25-3.5 TPS（每秒令牌数）。完整版16K以上上下文窗口的模型体验远胜精简版，值得投入。纯CPU运行时可同时运行视觉模型等小型模型。

2024/02/01补充参数：

空载功耗：60W（未接GPU）

满载功耗：260W

当前内存速度：2400（3200可能有性能提升）

本地AI CPU计算硬件