M3 ultra 运行deepseek R1 671B的Q4量化版结果出来了

硬件数码 • lujunx • 发表于 2 月前 • 最后回复来自 xinatwh • 2 月前

16.08 tokens/s，功耗不到170w

共收到5条回复

Edith9988 2 月前湖北省 #1

7w，比h100便宜

xiaochanxin 2 月前湖北省 #2

来源

jeff 2 月前湖北省 #3

【速度媲美官网？满血M3 Ultra推理6000亿参数DeepSeek R1】 https://www.bilibili.com/video/BV1nkRnYTEWx/

这个人也测试了，单用户本地推理的话性价比真挺高

qian_dan 2 月前广东省 #4

苹果是全球科技公司的标杆，马斯克是全球骗子的标杆

xinatwh 2 月前湖北省 #5

哪里有评测 q4 量化和 q8 量化的差距？

请绑定手机号后，再发言，点击此处