M3 ultra 运行deepseek R1 671B的Q4量化版结果出来了

硬件数码 • lujunx • 发表于 9 月前 • 最后回复来自 xinatwh • 9 月前

16.08 tokens/s，功耗不到170w

共收到4条回复

Edith9988 9 月前湖北省 #1

7w，比h100便宜

xiaochanxin 9 月前湖北省 #2

来源

jeff 9 月前湖北省 #3

【速度媲美官网？满血M3 Ultra推理6000亿参数DeepSeek R1】 https://www.bilibili.com/video/BV1nkRnYTEWx/

这个人也测试了，单用户本地推理的话性价比真挺高

xinatwh 9 月前湖北省 #4

哪里有评测 q4 量化和 q8 量化的差距？

请绑定手机号后，再发言，点击此处