Neil retweeted
从 MCP 到 SKILL：关于 Agent 扩展机制的思考
去年 MCP 爆火，大家一度有种感觉：只要把工具都接进来，AI Agent 就会“活”过来，像一个长了手脚的人，什么都能干。
如果把 LLM 看作大脑（智力引擎），tool call / function call 就像让它能指挥四肢：模型填参数，代码去执行，再把结果喂回去继续推理。
MCP（Model Context Protocol）把这套机制做成了“标准插头”：以前各家服务各自一套 SDK + API，你要给 Agent 封装工具，就得处理语言、依赖、鉴权、返回格式，复杂度会指数上升；MCP 的价值是把“接入”这件事工程化、标准化。
所以当时最乐观的推论很自然：只要 MCP 工具够多，Agent 就有无限多的手脚，什么都能干了。
但很快大家就撞墙了。
第一堵墙：容量瓶颈（上下文预算）
工具的定义本身要进入系统 prompt 或等价的工具上下文；工具越多，占用越多，留给“干活”的空间越少。于是你会看到一些很现实的限制：某些 AI coding 工具最多支持配置 100 个 tools，而一个 GitHub MCP 可能就带 50 多个。你想把世界都接进来，但大脑的工作台面就这么大。
第二堵墙：任务闭环瓶颈（组合性）
很多 MCP 的调用结果会被直接回填上下文。短结果当然舒服，长结果就会触发两个问题：要么上下文爆炸，要么被截断丢尾巴。
我在做 holon 的时候就踩过这个坑：让 AI 去处理 PR 的 review comments，如果 comments 一多，直接回填上下文就会被截断，结果总是漏修。 后来反而退回到更“原始”的 GitHub CLI 会更稳——AI 先用 `gh` 把评论拉下来写成文件，再用 `grep`、`jq` 或简单脚本去筛选、聚合，只把必要的摘要喂回上下文继续推理。
这个过程让我意识到一个很基础、但之前容易被忽略的问题：上下文更适合承载决策信息，而不是当作数据存放层。 文件、数据库、对象存储这些外部介质，天然支持分页、寻址和重复访问，更适合用来承接中间状态。当任务需要反复回看、局部筛选或增量处理时，把数据外部化，往往比把全文塞回上下文要可靠得多。
从这个角度看，MCP 暴露出来的瓶颈，并不完全在协议本身，而在于我们常常下意识地把它用成了“往上下文里塞数据”的通道，而不是“把能力接入到工作流里”的接口。
也正是在这样的背景下，SKILL 开始受到关注。
如果 SKILL 只是纯文本，它更像分层 prompt 的组织方式；但当它和命令行工具、脚本结合起来，它就不只是“提示词技巧”，而是一种场景化的工作流封装：同一类任务的步骤、产物、工具链、失败重试方式、输出格式，都被聚合在一起。普通用户可能搞不清 MCP 是干啥的，但他能理解“这个技能帮我把评论整理出来并逐条修复”。
从实现上看，这有点像“以前用胶水代码粘合工具”，现在用“自然语言 + LLM + Bash/脚本”来粘合工具。并且这种范式正在让 Prompt Engineering 转向 Skill Engineering。灵活性确实强了，但相比标准化的扩展，SKILL 还有许多未解决的问题。
安全性是第一个难题。Bash + 脚本这些工具主要是开发者用，大家多少有点风险识别能力；但当 Agent + SKILL 普及到普通用户后，安全问题会更严重。到那时候，“靠提醒小心”是没用的，Agent 环境得提供更强的沙箱隔离能力。
标准化是第二个难题。SKILL 天然是按场景聚合的，但也因此更依赖运行环境：目录结构怎么约定？中间产物放哪？状态如何保存与复用？如何跨端复制这套模式？如果这些问题不解决，SKILL 的能力很难跨环境复用，更像是绑定在某个系统里的私有插件。
说回 MCP，我并不觉得有了 SKILL，MCP 就没意义了。恰恰相反，我更倾向于一种分工：
MCP 解决“连接标准化”，SKILL 解决“工作流编排与状态外部化”。前者让能力能规模化接入，后者让任务能稳定闭环。
MCP 不一定要“由 Agent 直接调用并回填上下文”，它完全可以被 SKILL 里的脚本调用，让结果先落地为可寻址对象（文件/句柄/资源），再把摘要与索引回填给模型。这样上下文就回到它最擅长的位置：做决策、做推理、做取舍，而不是当缓存。
MCP、SKILL 仍处在早期阶段，只是 Agent 插件机制演化中的不同形态。当 Agent 开始承担复杂任务时，真正重要的已不再是能力本身，而是上下文、状态与执行边界如何被拆分和安放。
Neil retweeted
想做一个简单的用户访谈 🤗
目标用户是把 Cursor 运用到真实生产环境的项目中的（并不是现在 X 上很多演示的 toy project）。
参与访谈的人都会赠送 1 个月的 @devv_ai 会员（价值 $20）。
欢迎私信 or 留言。
Neil retweeted
我在GitHub学英语，盘一下那些帮助我学习英语的GitHub项目。👇
1: English-level-up-tips
github.com/byoungd/English-l…
这是一个全面的英语学习指南。该指南基于作者的个人经验和学术成就，分享了有效的英语学习技巧。内容涵盖词汇、听力、口语和写作等不同的语言掌握方面。
2: Everyone Can Use English（人人都能用英语）
github.com/xiaolai/everyone-…
"Everyone Can Use English"（人人都能用英语）是由李笑来创建的，目的是帮助人们通过实用和高效的方法来学习英语。核心理念是通过持续的实践和利用现代技术来学习英语，强调“使用”而非仅仅“学习”英语。内容涵盖从基础语法到高级应用等多个方面。
3: English Note
github.com/hzpt-inet-club/en…
项目旨在帮助初学者从零开始系统学习英语语法。这个项目不仅提供了一系列的文档来详细介绍英语的基本语法知识点，还包括了实用的学习方法和技巧，以支持学习者更有效地掌握英语。特别适合那些英语基础较弱，但希望通过自学提高英语水平的学习者。
4: Chinese Programmer Wrong Pronunciation（中国程序员容易发音错误的单词）
github.com/shimohq/chinese-p…
这个项目帮助中国程序员纠正常见的英语发音错误，特别是与技术术语和编程语言相关的词汇。仓库提供了一个常见错误发音的单词列表，并附上正确发音和常见错误。这个资源对于经常使用英语工作但可能没有机会学习特定技术术语正确发音的程序员和技术专业人员特别有用。
5: Qwerty Learner
github.com/RealKai42/qwerty-…
Qwerty Learner 是一个为键盘工作者设计的软件，主要目的是通过练习打字来帮助用户记忆单词和提高英语肌肉记忆。该项目特别适合那些需要通过键盘输入英语的专业人士，如程序员，可以帮助他们提高输入速度和准确性。
6: Earthworm
github.com/cuixueshe/earthwo…
项目旨在通过使用 连词成句 、 i + 1 、 以终为始等学习理论来帮助你习得英语，通过不断的重复形成肌肉记忆，最重要的是游戏化的形式让学习英语从此不再痛苦。项目特别适合那些希望通过键盘输入提高英语学习效率的用户。
7: A Programmer's Guide to English
github.com/yujiangshui/A-Pro…
专门为程序员编写的英语学习指南。这份指南不仅聚焦于传统的语言学习方法，而且深入探讨了语言学习的本质，使用程序员熟悉的逻辑和方法论来讲解如何有效学习英语。
8: Youtube Auto Subtitle Download（Youtube 字幕下载）
github.com/1c7/Youtube-Auto-…
一个开源的工具，专为Chrome浏览器和Tampermonkey扩展设计，用于下载YouTube视频的自动生成字幕。该项目支持下载单语和双语字幕，包括将视频原语言字幕翻译成中文。这个工具特别适合需要快速获取YouTube视频字幕的用户，便于提高语言学习效率。
9: BlueSea
github.com/jiangqizheng/Blue…
一个有趣的英语学习浏览器扩展。它提供了多种功能，旨在帮助用户在浏览网页时学习和记忆英语单词。主要功能包括划词翻译、单词高亮显示、单词弹幕显示、根据记忆曲线安排的单词复习计划，以及词频统计。
10: Anki
github.com/ankitects/anki
Anki 是一个使用认知科学技术如主动回忆测试和间隔重复来增强记忆的流行开源记忆卡片程序。你不仅可以用于学习英语、还可以学习其他科目。Anki 允许用户创建自定义记忆卡片，并支持通过 AnkiWeb 在多个设备之间同步，便于在线和移动学习。支持第三方开发者创建的各种插件，非常硬核的学习工具。
需要稍微花费一点时间学习使用，属于先苦后甜，软件高度自由化，你可以创造属于你自己的学习世界。
Neil retweeted
Corrective RAG == retrieval with reflection 🔎🪞
A way to make RAG more advanced is to expand the decision making capabilities in the middle of the RAG process.
- Pre-retrieval: use the LLM to do query decomposition, API parameter inference, etc.
- Post-retrieval (as shown here): use the LLM to critique each piece of retrieved context, and decide whether to retrieve more based on the adequacy of the given context.
To bake this into your workflow, it makes sense to have a RAG orchestration architecture that uses less e2e modules and flexible subclasses for you to implement your own Python logic.
Florian's blog post is a great way to showcase this: ai.gopubby.com/advanced-rag-…
A way to fix bad retrieval issues in RAG is to add a “reflection” layer on the retrieved context 💡
Corrective RAG (CRAG, Yan et al.) adds a retrieval eval module that categorizes gathered information into “Correct”, “Incorrect”, and “Ambiguous”. In the event that context is ambiguous or incomplete, we can launch another search to augment the existing results.
Check out this fantastic article by Florian June outlining how CRAG works and how to implement it from scratch, step-by-step, with @llama_index.
ai.gopubby.com/advanced-rag-…
Neil retweeted
从去年开始做 OpenAI Translator 桌面端全局划词那一刻，我就一直觉得 AI + 全局划词才是真正的生产环境（PC 端）中的 AI 赋能，首先我太讨厌即时聊天了，所以不喜欢一切基于 Chatbot 的交互方式，其次在生产环境中的鼠标操作（拖动、选择、点击）都是相当重要的人类文明遗产，十分不理解那些说 chat 才是最好的 UI 那些 E 人，没见过新东西一出来就回去把遗产给扬了的，对这些遗产做 AI 赋能才是对人类文明最大的尊重，同样也是最无感最丝滑最改变生活的集成方式，所以价值巨大。
之前都是小小的 PopClip 闭源一家苦苦打磨了几年，以及我们这些更小小的开源项目在用户的极度配合下苦苦探索重新踩坑，各种坑都用各种神奇走位避开（比如加黑白名单啦、临时静音啦、判断 selected frame 与当前鼠标位置的距离啦），之前还妄想 PopClip 开源一下造福一下贫苦大众，现在终于有大厂关注这一点了，虽然不指望着能开源，但是还是挺激动的，希望能看到更丝滑的可能性吧
惊闻豆包桌面端也有全局划词弹窗了，作为自诩的老全局划词弹窗人刚刚赶紧激情更新了一下，发现大部分时候体验的确不错，但是老大难的问题仍然没有解决：由于在 macOS 下在很多应用中不能用 a11y api 去获取选中的文本，只能通过模拟按下 cmd+c 快捷键来借用剪切板实现获取选中文本，所以会导致在没有选中任何文本的时候按下了 cmd+c 进而导致发出咚咚咚的警告声（比如拖动一个窗口或者在窗口的某个地方双击，这个行为会被判断在进行文本选择），人家 PopClip 传说中是很 tricky 地用静音来规避了这个问题，EasyDict 也是这样处理的，静待你这个大厂如何解决了
xitter.cf/yetone/status/16…
Neil retweeted
年底最值得一读的 RAG 论文：
《Retrieval-Augmented Generation for Large Language Models: A Survey | 面向大语言模型的检索增强生成技术：调查 [译]》
摘要：
在这篇调查中，我们关注的是面向大语言模型的检索增强生成技术。这项技术通过结合检索机制，增强了大语言模型在处理复杂查询和生成更准确信息方面的能力。我们从同济大学和复旦大学的相关研究团队出发，综合分析了该领域的最新进展和未来趋势。
校对中难免有疏漏指出，有翻译错误请指出！
baoyu.io/translations/ai-pap…
RAG 综述，建议每个做大模型应用的都读下。
非常不错的总结。
arxiv.org/abs/2312.10997
Neil retweeted
#开源项目推荐：pacexy/flow
一个开源免费的完全基于浏览器的ePub 阅读器，不需要安装客户端，在浏览器中运行，所有数据都保存在本地的indexDB。
主要功能有：
书内搜索
图片预览
自定义排版
高亮、笔记
主题
通过链接分享、下载书籍
数据导出
云端存储
但似乎最近一段没有更新了。
项目地址：github.com/pacexy/flow
Neil retweeted
很多人喜欢用「xx 才是 yy 的决定性因素。」这种寻求简化的思维，它在某些问题的研究上是有效的，但并不总是正确。错误地使用导致了一些没有意义也不可能会有好的结果的讨论。
例如：「xx 才是团队的核心，否则 zz 啥都做不成。zz 只是个 blabla 的，而只有 xx 才懂 blabla。」按照这个逻辑，那整个团队就 xx 一个人不也能成？
事实上，我们需要的是一个完整的团队而不是去分析哪一块散沙才是决定性的散沙，这觉得这个逻辑很奇怪。
一些人喜欢把自己正在做的那块擅长的事情单独拿出来讨论，并试图证明这才是最重要的和不可替代的，不懂这块知识的人都是 P。但其实换在别人的领域，它们这样的逻辑岂不也成立？
说到底，还是 Ego 在作祟。不要试图和他们争论，醉翁之意不在酒，即便是在潜意识里。
Neil retweeted
今天上午在Space里聊Sam Altman被炒这事儿的时候，也有同学说他不是技术人员，也根本不参与ChatGPT的编码，不能高估他对公司乃至AI行业的影响。
这是一种非常容易产生的、具有一定普遍性的认识，比如认为和他闹矛盾的OpenAI首席科学家Ilya Sutskever才是真正的灵魂人物，Sam Altman只是一个「发言人」。
我想说一个科技行业的典故，1997年苹果举办全球开发者大会，乔布斯那会儿刚刚回归没多久，大家对他的信任度还是有限的，然后有个工程师利用提问机会当众问乔布斯，你能不能以Java编程语言为例，给我们解释OpenDoc的意义在哪。
这个提问的背景，是乔布斯在技术圈里一直处于鄙视链下游，在工程师们看来，苹果之前的成就基本上都是沃兹尼亚克创造的，而乔布斯不过是一个很会卖电脑的，OpenDoc是苹果当时的一款失败软件，被关停了。
听完之后，乔布斯喝了口水，开始了一段长达5分钟的回应，堪称一绝：
我相信Open的功能肯定是有价值的，不过其实我也不太懂，我相信你比我在行，可以开发一些Demo出来展示，但最难的部分是如何将那些功能塞进更大的愿景里面，例如让你每年一个产品能够卖百八十亿美元。
我经常发现，你得从用户体验出发，倒推用什么技术，你不能从技术出发，然后去想如何才能卖出去。在座的没有人比我犯过更多这样的错误，我也搞到伤痕累累，我知道这就是原因，当我们尝试去为苹果思考战略和愿景，都是从能为用户带来什么巨大利益出发，我们可以给用户带来什么，而不是先找一群工程师，大家坐下来，看看我们有什么吊炸天的技术，然后怎么把它卖出去。
我认为我们现在的道路是正确的，我记得我们做了全世界第一个小型激光打印机，那小盒子里装了很多厉害的技术，它有第一个佳能的激光打印引擎、有非常厉害的打印机控制器、有Adobe Post、有Apple Talk，总之就是各种厉害的配置。
这就是苹果需要回到的状态，我很抱歉OpenDoc一直是个悲剧，我也承认面对世界上很多事情我也根本不知道自己在做什么，我为此道歉。但是在苹果，有很多人非常非常努力工作，像lve，John，Guerino，Fred他们等，大家都没日没夜地工作，他们都带着几百人的团队去执行工作，他们真的非常努力，当然这是我们应该做的。
我们会犯很多错误，也犯过很多错，但犯错也挺好的，因为这过程中至少做了一些决定，我们会找到那些错误，纠正他们。现在我们应该做的是支持我们的团队，当他们那么卖命地工作的时候，很多人开出几倍的工资想挖他们，去做各种各样的事情，他们没有一个人离开，我觉得我们应该支持他们，看到他们的付出。然后他们才会做出一些厉害的产品，在市场上去支持苹果。
⋯⋯
能明白我的意思吗？技术本身的优越性，恰好也是它的偏见所在，以为牛逼的技术天然就能无缝连接市场，从而看不起「中间商」的作用，认为他们都是站在巨人肩上的营销员。
事实上，一辈子都活在牛逼的地洞里见不了光的技术多如牛毛，行业里从来不缺代码工人，缺的永远是能将代码转化为经济价值的人或组织。
就好比Hacker News今天都在八卦Ilya Sutskever想要专注开发GPT-5，但Sam Altman花了太多时间在GPT-4的各种商业化上，这个分歧就非常的「沃兹尼亚克&乔布斯」，工程师是真的很喜欢憋大招，追求极致卓越的技术成果，但在CEO的职责里，不断的去和市场打交道、让市场来为技术路线实现反馈，才是更重要的事情。
我不是想说谁对谁错，子弹还在飞着，没必要急于下判断，只是就像Eric Schmidt说的，是Sam Altman把OpenAI从一文不值做到了现今900亿美金的估值，ChatGPT也是迄今为止市场化做得最为出色的AI产品——很多同行都还是在造昂贵的玩具——管理层有矛盾很正常，但在各种宣传里暗示Sam在利欲熏心追逐名利的道路上迷失自我就很可悲了。
作为一个零股份的CEO，他不亏欠任何人、任何公司。
Neil retweeted
通过GPT-4V的API实时获取Blender的界面内容，对用户进行指导。它可以实时读取你的操作并且告诉你哪一步做错了，应该怎么操作对应的软件。
这个太强了相当于一个1对1的老师实时进行指导。
Created a script to share screen with gpt 4 and asking it to guide through blender. Latency could be better if openai tts api supported a streaming text input
[Sharing screen with gpt-4] loom.com/share/9458bcbf79784…
Neil retweeted
Zho做出了这几天对我帮助最大的GPTs，ComfyUI Assistant ，它可以帮助你处理关于ComfyUI节点的所有问题。
包括查找解释节点内容，查找缺失节点，创建自定义节点，解释工作流，修复节点错误等，非常强大。
解释节点内容：你可以上传对应节点的py文件它就会给你详细解释这个节点的所有信息包括输入输出的要求，节点参数的意思等。
创建自定义节点：这个就很强大了，你可以用自然语言说出你的要求GPT会帮助你写代码创建你需要的自定义节点，之后下载他创建好的py文件扔到对应目录就可以用了。
查找缺失节点：我们使用别人工作流的时候经常遇到缺失的节点，把节点名称发给他之后，他会给出节点的安装方式、链接和介绍。
解释工作流：你可以上传一整个工作流，之后GPT会大致介绍工作流实现的功能，还会详细列出每一个节点对应的作用。
修复节点错误：如果你的节点出现问题报错了，你可以把节点文件和具体的报错内容发给GPT，他会帮你修复出现问题的节点代码，生成新的节点文件。
这才是我想象中GPTs需要解决的事情，能够完成非常复杂的需求，直接一步到位给出解决方案。
你可以在这里尝试：chat.openai.com/g/g-B3qi2zKG…
Neil retweeted
There's a new multi-modal RAG stack that's emerging, letting users do QA over complex documents and images.
Here's a diagram and 🧵 of what it consists of 👇
Multi-modal RAG extends beyond RAG in the following ways:
* Input: The input can be a text or image query.
* Embeddings: You can natively embed/index images with joint embeddings (CLIP). You can choose to embed text the same way or use specialized text embeddings (e.g. ada)
* Storage: Use a vector database to store images. The image file itself could live in a separate docstore or in a vector db. You can use the same vector db for image/text storage (e.g. @trychroma ) or separate collections
* Retrieval: Given a user query, the retrieved context can be text, images or both. If we use separate image/text embeddings, you need two retrieval calls.
* Synthesis: We can use either a multi-modal model (GPT-4V) that can take in both text and images, or a standard LLM (gpt-4-turbo) that takes in just text. If the latter, you may need to caption/summarize each image into text.
* Response: The returned result can be text or images.
We're building towards this future. We launched multi-modal indexing/retrieval abstractions in @llama_index today. We're building towards the following:
💡 More multi-modal embeddings/LLMs
💡 More ways to store images/text in different storage systems
💡 More ways to combine/apply lessons from text retrieval to image retrieval
💡 More ways to synthesize over arbitrary text/images
Blog: blog.llamaindex.ai/multi-mod…
Multi-modal RAG example: github.com/run-llama/llama_i…
Neil retweeted
LLM OS. Bear with me I'm still cooking.
Specs:
- LLM: OpenAI GPT-4 Turbo 256 core (batch size) processor @ 20Hz (tok/s)
- RAM: 128Ktok
- Filesystem: Ada002
Neil retweeted
While this article fits with much of our thesis I think it has a misunderstanding of what moats actually are
It is v difficult to build a business with innovation as a moat, base requirement is too high
Data, distribution, great product are moats
semianalysis.com/p/google-we…
Neil retweeted
如何写出一个更好的 ChatGPT Prompt
关于 prompt engineering，有各种各样的技术，但是对于普通用户来说，门槛还是太高了。
为此，我们训练了上万条不同的 prompt，然后做了这个 Prompt Generator Copilot。
只需要告诉它你的需求，就可以进行快速创建 👇
app.copilothub.ai/chat?id=37…
🧵
Neil retweeted
分享一篇文章，名字叫《如何提升学习能力和效率》mp.weixin.qq.com/s/aYhIsav9_…
文章从大脑神经系统的角度，解释了学习为何物，以及为什么有些人学习半天却没有效果，包括“失败”与“错误”，对学习的帮助。
总结目前自己的错误是：
1、不追求增量学习，只追求一次大幅度的提升。想立刻看到效果，所以会导致我每次开始做都要克服一个心理障碍，因为会觉得要做的事情太多。
2、没有学习目标，只是在被动地经历一些学习活动，纯属“好学但不好奇”，对神经系统没有改变。
「再附一位前辈对文章的评价：
这文章写的很有意思，而我深有同感，我想到现在很多所谓培训机构，就是帮你把各种考试要点给梳理清楚，教你一套应考方法，看似特别醍醐灌顶，有高人指点，好像短时间可以迅速提高，但是其实和学习是背道而驰。
因为在这个知识到应用的过程中，别人都帮你安排好了，知识已经被总结，解题方法也手把手教了，偏偏少了一个试错的过程，少了这个看到问题-思考-不会-找办法-终于解决问题的神经的反馈过程，所以就会导致上了很多培训班，刷了大量习题，下次仍然不会。
如果没刷过什么题，对每一个新问题，都是一个试错的过程，一旦自己解决了，就会印象特别深刻，比别人手把手教了你然后按照同样方法再去做十道题都有用。
知识和能力其实不是教出来的，而是在每次应用的时候试错试出来的。这个试错怎么才最有效，印象最深刻，就成了学习能力最关键的分水岭。」