Lune (@crafcat7) header
Lune (@crafcat7) profile picture

奔赴世间无人踏足的旷野

Joined April 2026
把 ncnn-moe-runtime 支持上 Gemma4-26B-A4B 的运行 结合前面 Qwen3.6-35B-A3B 的优化思路:将 router expert 量化成 MXFP4 做 sidecar,其余 checkpoint 保持BF16 让 5070ti 16G 设备也能跑上 18t/s 的表现)
61
MNN-Pocket-0.3B Q4 如果跑在一些边缘设备上或许也能有不错效果!
1
36
三个月后...它从 13 t/s -> 128 t/s 它进化了,我也成长了😋
折腾到大半夜的,汇报下这几天深耕 ncnn-MoE-Runtime 的进展! 好消息是,它可以在 5070ti (16G vRAM)+ 9800X3D + 32G (7600Mhz) 内存组合下情况下,可以跑起 GPT-OSS-120B 的模型 且最高峰值可达 13.36 token/s 想到将来能够通过更低的硬件成本,能够运行起更多的 LLM 时就非常的兴奋! 接下来继续优化,让我来探索下极限边界在哪! 项目地址:github.com/crafcat7/ncnn-MoE… 蹲点大佬们的 star(目前优化还没上传!目前仓库内仅能运行起 120b 模型)
1
7
1,056
还能再进一步压榨边缘设备的算力空间,或许下次可以试试 Pentium III!
This screenshot shows Qwen3-0.6B LLM running on a pure IA32 processor such as the Intel Core Solo T1350, based on github.com/crafcat7/ncnn-MoE… from @crafcat7.
1
97
最后联系了 AMD 售后后,获得了一块新的 9800X3D…更换后问题解决了 还是第一次遇到 CPU 问题🤔
This quoted post is unavailable.
38
然后一天进步一点,比如说...从 0.3 t/s 提升到 3.0t/s!
先简单做个 qwen3.8-flash-next 的适配... 就是现在看上去性能还有待优化
1
63
先简单做个 qwen3.8-flash-next 的适配... 就是现在看上去性能还有待优化
1
2
183
100 亿达成!
114
太好了,上周做的 DSV4 flash 的适配可以直接用在 DeepSeek V4 Flash 0731 的版本上 5070ti 跑 DeepSeek V4 flash )
3
1
10
3,283
这几天折腾了下 新适配了 qwen3.6-35b-a3b-support 并且引入了一堆的优化,例如:MXFP4 Expert Artifact、Eager Expert 驻留 在当前的设备环境上跑起来看上去表现还不错 这两天看下最近更新的 Deepseek v4 flash 0731 版本能不能在现有支持的 Deepseek v4 flash 适配器的场景下跑起来🤔
217
补充了下 DSpark 的支持,当前实现还没充分发挥 DSpark 的全部能力.... 可能是当前的矩阵测试内并没有让 DSpark 成功加速到任何 Token,但是又承担了 DSpark 带来的额外成本,同时在 4 Session 场景下还失去了 staged batching.... 后续可以考虑换换设备再重新评估下 我还是太菜了(
119
现已支持 DeepSeek-V4-Flash-DSpark! 在本轮工作中引入了很多很多的优化,也尝试了不少的方向来优化该架构,旨在能为边缘端跑起 MoE。 13B 的激活参数量确实跑起来有些吃力 虽然现在 5070ti + 9800X3D 在 DeepSeek-V4-Flash-DSpark 表现力有限,但能跑起来就是一大步)
1
195
ncnn-MoE-Runtime 周末总结(Codex 帮大忙...) 测试环境 R7 9800X3D / 31.14GiB 内存 / RTX5070Ti 16G 混合推理架构:Vulkan GPU 稠密 + Attention,CPU 执行 MoE Expert Hybrid Runtime 吞吐 (token/s): • 20B 32tok:cold 14.10 / warm 14.85 • 20B 256tok:cold 17.07 / warm 16.80 • 120B 32tok 2S:cold 5.28 / warm 10.92 • 120B 256tok 2S:cold 9.87 / warm 10.29 做了一堆的优化工作,看上去还有提升的空间 接下来将接入更多的 MoE 模型!
1
249
折腾到大半夜的,汇报下这几天深耕 ncnn-MoE-Runtime 的进展! 好消息是,它可以在 5070ti (16G vRAM)+ 9800X3D + 32G (7600Mhz) 内存组合下情况下,可以跑起 GPT-OSS-120B 的模型 且最高峰值可达 13.36 token/s 想到将来能够通过更低的硬件成本,能够运行起更多的 LLM 时就非常的兴奋! 接下来继续优化,让我来探索下极限边界在哪! 项目地址:github.com/crafcat7/ncnn-MoE… 蹲点大佬们的 star(目前优化还没上传!目前仓库内仅能运行起 120b 模型)
1
2
1,370
升级到 macOS 27 Public Beta 后 Xcode 暂不可用...(没有交苹果开发者费) 还好工程之前有先做好 xcodebuild 脚本,不至于没法验证代码,接下来继续推送新 UI 设计下的 Peakmon
131
最后还是忍不住借助 Pro 的力量了
1
72