CodingEgg retweeted
#观点 黄仁勋令皮夹克爱好者蒙羞。一个亿万富豪装扮成叛逆者已足够令人恼火,黄仁勋竟然厚着脸皮把我们引以为傲的标志性装束变成了他的招牌。一个男人的肉体过失不应玷污我们的第二层皮肤。如今我们中年皮夹克爱好者还要被迫反思:身上这层盔甲是否反而让他成了猎物?昂贵的皮夹克难道如今成了中年男人落入美人计圈套的标志?cn.nytimes.com/opinion/20261…
古早风味标准格式的鸡汤小文:
1.有这么一个问题abab。
2.有一个有点小权的人,人设一般是个企业老板,甚至负责招聘的hr都行。他有这样的标准xxxx。虽然要诉诸权威,但此处不会出现太有名的人,避免一查就露馅。
3.可选编一段有对手戏的场景故事,他胜出。
4.他说的真对啊大家都按着他的标准反思一下。
大家都说,学计算机、软件工程的大学生越来越难找工作了,初级岗位被 AI 取代了
昨天和一位做 AI 创业的朋友聊起这个,她说,这几年招实习生,她见过这几种人:
1聪明、名校、又肯干的,不愁找工作
2不那么聪明,看得懂业务,学AI
3不算特别聪明、不是名校,但努力
4聪明、名校,但偷懒的,一小时干完四小时的活,剩下的时间混过去,汇报时说得像一直在忙
她愿意留下的,是前三
最扎心的是第四种聪明加滑头,比不聪明更让人不放心
2
332
从另一个角度想,如果不考虑kimi的免费政策,它的效果是不是证明了scaling law依然有效并具备广阔的发掘空间?而且根据它的公开信息,扩展这些空间具有更加经济的实现途径。
The irony of this: China's strategy is remarkably capitalist... use free models to win distribution and capture the ecosystem.
This meanwhile proposes gov't intervention to shield American labs from competition. America is better off competing than manufacturing FUD
1
257
推荐这篇文章,Flask 作者 Armin Ronacher 追踪 Pi 的 bug 发现了一个让人不安的事实:新版 Claude 模型(Opus 4.8、Sonnet 5)的工具调用在退化——不是变好了,是变差了。而且他找到了根因:RL 后训练过度适配了 Claude Code 自己的工具 schema,导致替代工具 schema 越来越"离群"。这是所有自己做 agent harness 的人都需要读的文章。
更好的模型,更差的工具调用
一个奇怪的 Pi issue 让我在过去两天掉进了一个深坑。简短版:新版 Claude 模型有时会在调用 Pi 的 edit 工具时,给嵌套的 edits[] 数组加上多余的、编造出来的字段。不是 Haiku 或什么小模型——是 Opus 4.8。编辑本身通常是正确的,但参数不匹配 schema,因为模型发明了不存在的 keys,Pi 拒绝工具调用并要求重试。
这不完全意外——模型偶尔会发出格式不正确的工具调用,特别小的模型。但让我意外的是,这在 Anthropic 的新模型中变得更糟了。Opus 4.8 和 Sonnet 5 都表现出这个问题,而之前的旧模型不这样。换句话说,这个模型家族的 SOTA 模型在某个特定工具 schema 上不如它们的旧兄弟。
工具调用就是文本
如果你没有花太多时间看 LLM 工具调用的内部机制,需要理解的重要一点是:工具调用不是魔法。模型收到一份转录文本、一个系统 prompt 和一个可用工具列表。服务器把这些搅成一个带有特殊标记 token 的大 prompt。因为模型用那个格式的示例训练和强化过,它在生成过程中某一点会发出被 API 或客户端解释为"用这些参数调用这个工具"的东西。
细节是:嵌套数组里面的 JSON 是序列化在 XML 标签里面的。基本顶层字符串参数在线显示,而对象数组通过 JSON 序列化实现。这很重要,因为当模型在一个几百 token 的转义字符串后面要决定 } 还是 ,"..." 时,这正是最高熵的点。
失败
Pi 的 edit 工具支持在一个调用中做多个精确字符串替换,所以参数里有一个 edits 数组。在失败的案例里,模型产生了这样的条目:额外加了 requireUnique: true、oldText2、newText2。反复测试中我看到了一整批编造出来的尾随 keys:type、id、kind、unique、requireUnique、matchCase、in_file、forceMatchCount、children、notes、cost,甚至一个 event.0.additionalProperties 在里面。
最烦人的是,实际 oldText 和 newText 负载在我检查过的无效调用里是字节级正确的。模型确实产生了正确的调用,然后在对象末尾加了垃圾。
这个失败也高度上下文依赖。全新的单轮"编辑这个文件"prompt 完全不会复现。有 agent 历史——模型读过文件、诊断了问题、然后写了多行编辑——就能复现。而且不是所有转录都会这样。打开 strict 工具调用在我的运行中完全消除了问题。
为什么在变差
我最强的假设是这不是随机退化,而是训练 artifact。
旧 Anthropic 模型训练时,它们训练了一些工具,但那个训练还没有 Claude Code 这样用户交付的 harness 作为明显目标。现代 Anthropic 模型大概率不同,因为它们的后训练包括了 Claude Code 或一个看起来非常相似的 harness。模型学到了在那个环境下什么样的工具调用是成功的。它也会学到那个环境容忍什么错误。
Claude Code 自己的工具相对扁平。普通 edit 工具不是 Pi 的嵌套 edits[] 形状,更接近 file_path、old_string、new_string 和一个可选 flag(replace_all)。看 Claude Code 的客户端非常有启发:它包含格式错误工具用的重试路径、参数别名、类型强制转换、Unicode 修复和未知 key 过滤。换句话说,Anthropic 自己的客户端似乎期望和接受相当数量的 slop,并修复它,大部分是静默的。
如果强化学习发生在这样的 harness 里,或一个模拟里,那么稍微格式不正确的工具调用仍然可以完成任务并得到奖励。harness 完全吸收了错误,几乎不存在惩罚"发明一个别名"、"加一个多余字段"或"用一个相近的参数名"的梯度。
更糟的是,模型可能变得极强地适应了标准 Claude Code edit 工具的形状。一个不同的 harness 可以提供语义相同但 schema 不同的工具。这样的工具会越来越离群。训练得更好的模型可能实际上更难对付你,因为它的先验更强。
这不算太意外,但这是一个变迁。Opus 4.5 发布时,它适应其他 edit 工具的能力异常好。我当时相当确信我们在一条好路上——模型只要指令好,更可能适应任何种类的工具形状。现在我有些担心我们在哪条路上。替代工具 schema 可能不只是不熟悉。它们可能被优化特定、宽容的工具生态的后训练隐式惩罚。而且那个生态没有文档。
Slop Harness
Claude Code 是闭源的,但我们可以看压缩后的代码。老实说,它对输入数据非常宽容。
首先,Claude Code 检查模型可见文本里是否有泄露的 <invoke 标记。然后有自己的状态机来重试坏调用。它有显式 Unicode 转义修复来修坏掉的 \uXXXX 序列和孤立代理。每个工具都有参数别名。比如 Edit 接受 old_str、old_string、new_str/new_string、path 作为 file_path 的别名。它还会静默过滤不认识的 key,也不使用 strict 模式。
这对 harness 意味着什么
让人不舒服的教训是:工具 schema 不是中性的,至少在 Anthropic 模型上不是。我们喜欢假装 schema 是抽象合约,模型是通用推理器会遵守它,但对某些工具来说这可能不再成立。
工具 schema 在分布里的某个位置,有些形状接近模型在后训练中看到的,有些很远。有些对提供商的隐藏编码来说是简单的(比如 ANTML 中的顶层属性),而有些要求模型在长多行字符串后面写大的转义 JSON 对象,嵌套在数组里。模型可能足够聪明理解 schema,但仍然在压力下抽不出那个精确形状。
我以前对严格语法约束的工具调用持更多怀疑态度,因为约束解码可能有质量 tradeoff。我仍然认为这普遍成立,但这个 bug 显著改变了我的先验。如果最新的模型在解决问题上变得更好,同时在忠实生成替代工具 schema 上变得更差,那么 harness 需要在某处有更强的保证。
原文:Armin Ronacher, "Better Models: Worse Tools", 2026-07-04
lucumr.pocoo.org/2026/7/4/be…
#Claude #Agent #工具调用
随着AI的发展和coding这件事愈发的vibe,我严重怀疑以后软件工程的侧重点会发生变化:逐渐从一个关注如何把科学和数学原理系统性地转换成实际应用的工科科目,变成更关注如何管理需求、项目和coding agent的管理学科目。
到时候软件工程会成为经管类专业,颁发法学学位。我们终将成为LLM。
1
97
人有多大胆,AI有多大产。
鼓足干劲,力争auto。
以harness为纲,全面蒸馏,大炼skill,人人有责。
深耕agent三五尺,代码亩产一万行。
一天等于二十年,AI Native在眼前。
83




















