fatlj (@llj098) profile picture
39.979526,116.41227
Joined March 2009
Photo by fatlj (@llj098)Photo by fatlj (@llj098)Photo by fatlj (@llj098)Photo by fatlj (@llj098)
给想买 $ANT 股票的朋友们提个醒。 有一个简化判断的方法:就是对比当年同体量的 apple 2011、2012 左右,apple 的黄金年代。看看 apple 的增长、利润、定价情况,再和现在 ANT 的稀释市值 1.6T 比较一下。 再看看手上智障的 OPUS 5.5 Think twice DYOR
26
大模型现在的测试确实相当麻烦
Alibaba engineers found a nasty quantization bug while running DeepSeek-V4.1 on T-Head Zhenwu 810E chips. The problem was with DeepSeek's Engram weights. They're supposed to stay in BF16 because their values are very small. But vLLM renamed these weights internally, so its ignore list couldn't recognize them. As a result, it silently converted them to 8-bit integers, rounding most of their values down to zero. Basically, the model was running with corrupted weights without throwing an error. wtf.
1
34
蒸馏其实就是花钱买数据。 像当年做图片机器学习的时候,大家花钱雇人做图片标注。 现在换成了蒸馏,没啥区别,都是花钱买数据。 如果真训练过模型的人应该能理解,你拿到了蒸馏数据,也是需要清洗的,当年做 CNN。 数据处理部分才是最出成绩的地方。
Replying to @thdxr
涉及到核心竞争力的时候,政府都会下场来干预,这点中美一样,没区别。
1
10
讲讲自己的经历 其实很多人应该对所谓前沿模型祛魅了。 1. 使用 Astra 做 pascal 显卡的推理优化,这货死活做不出来,max level 做了一夜,pro 20x 接近耗光。直接告诉我无解,我换 qwen-3.8 27b,对就是 27b,一夜,直接提速 50%
4
1
1
36
最后,对闭源模型祛魅吧。 多少次刚发布的时候正经瘫坐,不到两个月之后就骂狗屎了? 不要人云亦云,相信自己眼睛看到的事实,多尝试,不要戴有色眼镜。
4
对于国模来说,做研究、代码的话。 一定要配一个好的搜索接口(我测试下来 exa 最好) 因为国模体积小,知识库小。只要遇到含糊地问题,就让国模去搜索,不要自己乱猜,这样可以大幅加速问题解决速度。而且交付出你意想不到,甚至顶级闭源模型也不到的任务。
9
3, astra 的知识库确实很大,对于它已知的问题,可以回答的又快又好,但是,一旦面临创新性问题:pascal 老卡优化、hyprland 上面做 xfce 体验。这种几乎没人做过的,它表现极其吃力。这让我觉得这货推理能力不一定很强,但是确实记住了很多知识。
9
2. 做 omarchy linux 的 window manager,解决 wechat 标题栏三键无效问题,拖拖拉拉几天,最终结论告诉我就是做不到。前两天换成 ds4.1f,几个小时搞定(虽没能一句话交付,改了几轮 bug之后,完美解决)
8
最后,对闭源模型祛魅吧。 多少次刚发布的时候正经瘫坐,不到两个月之后就骂狗屎了? 不要人云亦云,相信自己眼睛看到的事实,多尝试,不要戴有色眼镜。
对于国模来说,做研究、代码的话。 一定要配一个好的搜索接口(我测试下来 exa 最好) 因为国模体积小,知识库小。只要遇到含糊地问题,就让国模去搜索,不要自己乱猜,这样可以大幅加速问题解决速度。而且交付出你意想不到,甚至顶级闭源模型也不到的任务。
1
10
对于国模来说,做研究、代码的话。 一定要配一个好的搜索接口(我测试下来 exa 最好) 因为国模体积小,知识库小。只要遇到含糊地问题,就让国模去搜索,不要自己乱猜,这样可以大幅加速问题解决速度。而且交付出你意想不到,甚至顶级闭源模型也不到的任务。
3, astra 的知识库确实很大,对于它已知的问题,可以回答的又快又好,但是,一旦面临创新性问题:pascal 老卡优化、hyprland 上面做 xfce 体验。这种几乎没人做过的,它表现极其吃力。这让我觉得这货推理能力不一定很强,但是确实记住了很多知识。
1
17
3, astra 的知识库确实很大,对于它已知的问题,可以回答的又快又好,但是,一旦面临创新性问题:pascal 老卡优化、hyprland 上面做 xfce 体验。这种几乎没人做过的,它表现极其吃力。这让我觉得这货推理能力不一定很强,但是确实记住了很多知识。
2. 做 omarchy linux 的 window manager,解决 wechat 标题栏三键无效问题,拖拖拉拉几天,最终结论告诉我就是做不到。前两天换成 ds4.1f,几个小时搞定(虽没能一句话交付,改了几轮 bug之后,完美解决)
1
20
2. 做 omarchy linux 的 window manager,解决 wechat 标题栏三键无效问题,拖拖拉拉几天,最终结论告诉我就是做不到。前两天换成 ds4.1f,几个小时搞定(虽没能一句话交付,改了几轮 bug之后,完美解决)
讲讲自己的经历 其实很多人应该对所谓前沿模型祛魅了。 1. 使用 Astra 做 pascal 显卡的推理优化,这货死活做不出来,max level 做了一夜,pro 20x 接近耗光。直接告诉我无解,我换 qwen-3.8 27b,对就是 27b,一夜,直接提速 50%
1
19
而且好像都在吐槽国模雷霆大思考? 为什么没人吐槽 Astra 呢? Astra xhigh 及以上的 level,才是真正的雷霆大思考吧? 隐藏思维链之后,都可以做到巨长无比, 神模型
12
哈哈,想想 那些说 astra 是 agi 的人...
5
After an overnight run, I now have the DeepSeek-V4.1-Flash-1017 GSQ-RCO Coder IQ2_XXS (ISTA-DASLab) results from the Elixir SWE benchmark, and this might be the most interesting finding this benchmark has produced so far🤔 DeepSeek is massively hyped. I was expecting a score of around 15–16 out of 20, but it scored just 12 - only one point more than Qwen 3.8 Next Flash Gyro-L and only two points more than the smallest Qwen 3.8 Next Flash, which can run on a single 3090 + RAM!!! On top of that, DeepSeek required 5x3090s + RAM and generated tokens at just 40–50 tokens/sec, while the Qwen models nearly doubled that speed. Choose your models wisely. There's a LOT of hype out there, but the actual results don't always tell the same story!
7
1
1
27
4,969
好像也不是完全没用 decode 的速度确实会影响使用体验,可任务完成速度取决于端到端 tps(用户输入到结束), prefill 速度影响也大。同时 coding agent 本身就是 input 远大于 output gpt-6.1-sol 最近的优化就是明显的反例,decode 快了,首字巨慢,解决问题巨慢。
给 4090 D 解锁 Tensor 算力后,有朋友提醒:“这对跑 MoE 量化推理可能几乎没用。” 测完了,确实如此:基本零收益😭 翻了 Strata 源码,IQ3_S 专家内核实际跑的是纯整数指令(mma s8.s8.s32),解锁翻倍的只是浮点 Tensor 算力,根本使不上劲;而且异构推理瓶颈全卡在显存带宽、PCIe 搬运和 CPU 卸载上。 受控对照数据与汇编分析写了篇总结: blog.ferstar.org/posts/tenso…
36
是的,现实主意的人更能预见这个结果
May the bloodthirsty warmongers, who push for a war that never ends, burn in hell!
1
17
dense all the way!
Honest question for people running open models locally: Qwen3.8-Flash-Next, GLM-5.3 Flash or DeepSeek V4.1 Flash? Or still a dense 27B? I keep coming back to the 27B for coding. Curious if I'm the only one.
1
16
v100 就能 80-90 tok/s 啦~
Replying to @XDevye
我买这两张之前,4090 就已经有 130-180 t/s 了,这两张卡现在总的吞吐只比我之前 4090 快一点。双卡跟并发支持还不太行,我现在是跑的双引擎,可以再看看我上面的描述。
36
呵呵,到中国几天?用了中国 app 几天?使用英文体验中文 app?
As much as I respect Chinese-made AI models and hardware, I'm equally puzzled by how rough most of the software still is. Whether it's Wechat or Alipay or HarmonyOS. You'd think getting unique aesthetics, perfect fidelity, and great flows would be "easy", but clearly it is not.
1
11