三个月后...它从 13 t/s -> 128 t/s
它进化了,我也成长了😋
折腾到大半夜的,汇报下这几天深耕 ncnn-MoE-Runtime 的进展!
好消息是,它可以在 5070ti (16G vRAM)+ 9800X3D + 32G (7600Mhz) 内存组合下情况下,可以跑起 GPT-OSS-120B 的模型
且最高峰值可达 13.36 token/s
想到将来能够通过更低的硬件成本,能够运行起更多的 LLM 时就非常的兴奋!
接下来继续优化,让我来探索下极限边界在哪!
项目地址:github.com/crafcat7/ncnn-MoE…
蹲点大佬们的 star(目前优化还没上传!目前仓库内仅能运行起 120b 模型)
还能再进一步压榨边缘设备的算力空间,或许下次可以试试 Pentium III!
This screenshot shows Qwen3-0.6B LLM running on a pure IA32 processor such as the Intel Core Solo T1350, based on github.com/crafcat7/ncnn-MoE… from @crafcat7.
1
97
ncnn-MoE-Runtime 周末总结(Codex 帮大忙...)
测试环境
R7 9800X3D / 31.14GiB 内存 / RTX5070Ti 16G
混合推理架构:Vulkan GPU 稠密 + Attention,CPU 执行 MoE Expert
Hybrid Runtime 吞吐 (token/s):
• 20B 32tok:cold 14.10 / warm 14.85
• 20B 256tok:cold 17.07 / warm 16.80
• 120B 32tok 2S:cold 5.28 / warm 10.92
• 120B 256tok 2S:cold 9.87 / warm 10.29
做了一堆的优化工作,看上去还有提升的空间
接下来将接入更多的 MoE 模型!
1
249
折腾到大半夜的,汇报下这几天深耕 ncnn-MoE-Runtime 的进展!
好消息是,它可以在 5070ti (16G vRAM)+ 9800X3D + 32G (7600Mhz) 内存组合下情况下,可以跑起 GPT-OSS-120B 的模型
且最高峰值可达 13.36 token/s
想到将来能够通过更低的硬件成本,能够运行起更多的 LLM 时就非常的兴奋!
接下来继续优化,让我来探索下极限边界在哪!
项目地址:github.com/crafcat7/ncnn-MoE…
蹲点大佬们的 star(目前优化还没上传!目前仓库内仅能运行起 120b 模型)





















