consensyx retweeted
NVIDIA letting Jensen go is a huge mistake, for America and for humanity. It's Apple firing Steve Jobs all over again, but much bigger, given the role of AI in defining the future of our world.
I've been keeping quiet on this out of respect for Jensen's family and team, who I've met and who are amazing humans, and because I personally hate infidelity. So my heart goes out to them in this difficult personal family moment.
But I can also say that Jensen is human, and makes mistakes like all of us do. Not that I matter at all, but I've known Jensen for a long time and have gotten the chance to spend a lot of time with him, behind the scenes, away from mics and cameras. I have seen him show kindness, humility, care to everyone around him, including strangers, including from the poorest most struggling parts of society, treating all the same with the same thoughtfulness and attention, because they are fellow humans and not because he has something to gain from them. That shows rare character, to maintain humility and humanity through all of it.
Another data point is what people who know him well have said privately to me about Jensen over the years. I've never had anyone tell me anything but how awesome he is or how much they love him. Probably over a thousand people at this point. This includes hundreds of engineers, CEOs, colleagues, friends, etc.
Also, since there was some spy talk. Jensen is as proud an American as it gets. I'm in shock frankly at all of this, including the mass hysteria around it. I love America, and I think NVIDIA letting Jensen go is terrible for America.
I stand with Jensen.
Love you all ❤️
consensyx retweeted
"Differential Equations for Engineers" is a free university-level textbook that offers a comprehensive introduction to differential equations and their applications.
The book contains over 460 pages covering first-order differential equations, higher-order linear equations, systems of differential equations, Laplace transforms, Fourier series, partial differential equations, nonlinear systems, power series methods, and much more.
It combines mathematical theory, worked examples, and hundreds of exercises, many with solutions, making it a useful resource for engineering and mathematics students, as well as anyone looking to review the fundamental concepts of differential equations.
jirilebl.github.io/diffyqs/d…
🔥必读!Claude工程师最新文章指出AI代理时代,拉开差距的不是Prompt,而是管理能力!
你每天跟Coding Agent干活,本质就是在管团队。选任务、写指令、授权、验收、决定什么能上线,这些才是核心竞争力。
从Claude工程师视角浓缩的6个高杠杆要点:
1️⃣先给它验活的能力:必须让它自己跑测试/构建/截图,别当人工测试机。没验证,它只会停在“看起来做完了”。
2️⃣只补它看不见的上下文:目标、为什么做、边界、成功标准必须写清。代码里能读到的别废话。
3️⃣纠错要复利:同一个错误改两次以上,立刻写进CLAUDE.md或做成Skill。
4️⃣默认放权,只锁死不能弯的:让它自己决定实现方式,只有绝对不能做的事才硬约束。
5️⃣先对齐计划再动手:Plan模式聊透假设,再写代码。并行任务必须无重叠。
6️⃣任务可委托,判断权绝不外包:产品决策、安全边界、能不能上线必须自己拍板。看diff要像自己会被叫醒一样认真。
不会管理的工程师会被Agent反噬;会管理的,一个人就能当一个小队。实践成本极低,反馈以分钟计。
#ClaudeCode #AIAgents #AddyOsmani #AI编程 #工程管理 #Opus55
consensyx retweeted
An MIT math professor taught the same linear algebra course so clearly that the free recordings became one of the most watched university math classes on the internet, and most students who need the subject still never open them.
His name is Gilbert Strang.
The course is MIT 18.06. The Spring 2005 lectures are free on MIT OpenCourseWare and on YouTube as a full playlist. Problem sets, exams, and lecture notes sit next to the videos.
Strang's style is the opposite of a textbook wall. He talks through matrices the way a good coach talks through a play: one idea at a time, with the reason attached.
> What a matrix actually does to a vector
> Why eigenvalues are not a party trick
> How least squares hides inside almost every data problem
> When to stop computing and start seeing the picture
Linear algebra sits under machine learning, graphics, engineering, and economics. People pay for bootcamps to learn a soft version of it.
The original MIT lectures are free.
Most people will never press play.
Are you more of a "watch the lecture" learner or a "read the notes" learner? Reply A or B.
🚨 梁子最近杀疯了。
如果你装了梁子最近开源的 Super-agent
下面这几个小插件,我建议你也来看看
很多时候能帮你不少忙,解决不少问题。
我把社区里的插件和 README 翻了一遍,只留下解决实际问题的。
默认用 web profile,命令可以直接复制。
1、dsh-market
在设置页里浏览、搜索和安装插件,不用满 GitHub 找。
dsh plugin --profile web add dshmarket
github.com/dsh-market/dsh-ma…
2、dsh-context
看上下文窗口到底被什么占了,每次请求和每条消息的 Token 都能查。
dsh plugin --profile web add dsh-context
github.com/bowenliang123/dsh…
3、dsh-cost-meter
看单会话和每日费用、预算占比、官方余额,也支持峰谷计价。
dsh plugin --profile web add github:Han-1413141/dsh-cost-meter
github.com/Han-1413141/dsh-c…
4、dsh-auto-memory
跨会话记忆,纯文件存储,不用额外服务和 embedding。
dsh plugin --profile web add dsh-auto-memory
github.com/AskTheWay/dsh-aut…
5、DSH-better-sidebar
把侧边栏变成工作台,文件预览和编辑、终端、Git、子 Agent 都能在里面看。
dsh plugin --profile web add dsh-better-sidebar
github.com/omdsh-dev/DSH-bet…
6、dsh-taskboard
人建卡片,Agent 认领执行,人再验收。cron 跑在 host 端,不用一直开着浏览器。
dsh plugin --profile web add dsh-taskboard
github.com/cloader/dsh-taskb…
7、dsh-permission-rules
用一个 YAML 写 allow / deny / ask,还能按域名、IP、端口管网络。
dsh plugin --profile web add dsh-permission-rules
github.com/PerryLink/dsh-per…
8、dsh-rewind
Agent 跑偏了直接回退。每条用户消息旁有个按钮,点一下就能把上下文退回到那里,也可以选择连文件一起回滚。
dsh plugin --profile web add dsh-rewind-plugin
github.com/SiriLee/dsh-rewin…
9、dsh-auto-continue
网络、超时或 host 崩溃导致中断后,自动发 Continue 接着跑。
dsh plugin --profile web add github:HsiangNianian/dsh-auto-continue
github.com/HsiangNianian/dsh…
10、dsh-bili-scroll
每天替你搜 B 站视频,读完字幕再挑内容,写成 Markdown 日报。
需要 dsh ≥ 0.1.7-rc.1,以及 Python 3.10+ 或 uv,还要扫码登录。
dsh plugin --profile web add github:c1overzz/dsh-bili-scroll
github.com/c1overzz/dsh-bili…
插件不是越多越好,先把账单、上下文和权限这三样看住,再谈别的。
最后再附上梁子的超级同事:github.com/deepseek-ai/dsh-s…
🔥 我去,DeepSeek 把内部在用的「AI 超级同事」给开源了
开源成 DeepSeek Harness(DSH)的一个插件。
它可以给你的 GitHub 仓库招一个 AI 实习生。
它蹲在 Issue、PR 和飞书群里,有人 @ 它派活,它就自己开分支、写代码、提 PR,干完再回到原来那条评论下面告诉你。
下面我对它的功能进行简单的拆解叫大家明白它的玩法 👇
1、它内部是怎么分工的
它其实分两层。
一个「前台」(Router):只负责听消息、判断这活接不接、派给谁、回复人,自己不写代码。
然后一排「工位」(Worker):每接一个活,就开一个独立的 Session 加一个独立目录(一般是 git worktree),互不干扰不串台。
好处是你在群里连着丢 5 个需求,前台不会因为忙着写第一个而卡住,几个工位并行干(并发数你可以自己设置)。
2、PR 里接着聊,不用再 @ 它
这个设计我觉得最聪明。
一个活开工后,对应的 PR、Issue 或飞书话题会被它「订阅」。之后你在 PR 下面说一句「这个变量名改一下」,消息直接送到那个工位,不经过前台,也不用再 @。
PR 合并了订阅也不删。过两天你在原 PR 下面再说一句,它会被叫醒接着干。
3、谁能使唤它,你说了算
默认只有白名单里的人 @ 它才算派活,名单外的人 @ 它会被直接忽略。
网上说的「群里没人 @ 它也能自己修 bug」确实有,但有个总开关,分三档:
off:完全不主动
observe:会判断,但只记一笔「我本来会接这个活」,不真干(默认就是这档)
auto:判断通过就直接开干
而且主动接活必须命中你提前写好的规则。官方建议先用 observe 跑一阵,看它想干的事靠不靠谱,再切 auto。
4、话少,不刷屏
整个项目的核心理念就一句:占用人尽量少的注意力,给出尽量多的价值。
所以它只在三种时候开口:结果能看了、需要你拍板、它搞不定了。
接活时在原消息下确认一次,干活过程中闭嘴。
群聊默认只回一句话,硬上限 100 词。
要问问题,一次只问一个。
在 GitHub 上发的每条消息,开头默认标明「我是自动化 agent,不是真人」。
5、不会偷偷帮你合代码
默认不自动合并,PR 由人来合。
就算你打开了,默认条件也很保守:只合它自己开的 PR,approve 要覆盖最新 commit,改动加起来不到 200 行。
另外,看到有人已经提了同样的改动,它会主动关掉自己的 PR 让位。
6、干活不会被长命令卡住
命令跑超过 5 秒就自动丢到后台,它可以先回你的新消息。
进程重启后,它会先检查目录、git 历史和 GitHub,再决定要不要继续,避免重复操作。
7、自带监控面板
装好后,DSH Web 侧边栏会多一个 Superagent 入口。
面板按「现在有没有要我处理的 → 系统健不健康 → 某个活的来龙去脉」排列,可以直接重试、叫停,或者一键暂停全部处理。
💻 怎么装
git clone github.com/deepseek-ai/dsh-s…
cd dsh-superagent-prototype
然后对你的 coding agent 说这一句:
Read SETUP.md in this repository and set up dsh-superagent with me.
它会一次只问你一个问题(仓库、agent 账号、白名单、要不要自动合并),列出完整计划等你确认,然后自动装好配好。缺什么依赖,它会写进计划里。
⚠️ 几个提醒
1、官方写明了:这是研究原型,不是 DeepSeek 的正式产品。很多代码是 coding agent 写的,可能有 bug。
2、要给它单独开一个 GitHub 账号,别用自己的号,它发的所有东西都挂在这个名字下。
3、它以你的系统用户身份跑命令,不需要审批,命令黑名单也不是安全边界。建议放在单独的机器或容器里跑。
4、目前只支持 github.com 上的单个仓库,聊天渠道只有飞书(可选)。要安装的依赖也不少:Node 22.19+、pnpm、git、tmux、Python 3、gh CLI,还得给 DSH 配一个模型。
5、配套开源项目里讲的部分设计是未来方向,原型里还没实现。
一个人写项目的话,它「群里主动接活」的卖点发挥不出来。
但这套「前台只派单、工位隔离、订阅直通、能不说话就不说话」的设计,就算不用它,也很值得抄进自己的 agent 里。
🔗 github.com/deepseek-ai/dsh-s…
consensyx retweeted
DeepSeek Harness 最让人头疼的 5 个问题,社区高 Star 项目基本都能解决🔥
1、Token 消耗太高,不知道钱花在哪里
推荐 dsh-context,GitHub 4.2K+ Star
可以直接看到上下文组成、缓存命中率、Token 消耗和模型耗时,还能分析 Subagent 的使用情况
特别适合排查 DSH 为什么越用越慢、越来越贵
项目:github.com/bowenliang123/dsh…
2、新开一个 Session,Agent 就忘记之前的内容
推荐 MemOS,GitHub 12K+ Star
它已经支持接入 DSH,可以提供跨会话的长期记忆、自动召回和混合检索
而且还有本地版,不一定需要把记忆数据交给云端服务
项目:github.com/MemTensor/MemOS
3、DeepSeek 不能直接识别图片和截图
推荐 ModLens,GitHub 4.7K+ Star
可以让纯文本模型借助其他视觉模型分析图片,提取 OCR、布局和语义信息
比如前端 UI 截图、报错弹窗或者图表,都可以交给它处理
项目:github.com/liustack/modlens
4、DSH 联网搜索不好用,还需要额外配置 API
推荐 ModSearch,GitHub 900+ Star
支持网页搜索、内容抓取和 X 搜索,提供免注册、免 API Key 的默认搜索渠道
还有多个搜索源可以切换或故障回退,不过免费服务本身也有额度限制
项目:github.com/liustack/modsearc…
5、DSH 插件越来越多,不知道哪些值得安装
推荐 awesome-dsh-plugin,GitHub 22K+ Star
这是一个社区插件精选仓库,可以集中查找不同类型的 DSH 插件
比自己到处搜索方便很多,不过安装之前还是要检查版本兼容和项目维护情况
项目:github.com/awesome-dsh-plugi…
这几个项目我觉得都挺值得关注,基本覆盖了 DSH 日常使用中比较容易遇到的问题
如果你也在使用 DeepSeek Harness,可以先收藏一下,需要的时候再按需安装
DeepSeek Harness 这 5 个使用技巧,真的建议大家学一下🔥
最近一直在关注 DSH 的社区,发现很多人其实只用到了它最基础的聊天和编程能力
我又翻了一下最近的更新日志和社区项目,整理了 5 个我觉得比较实用的技巧,尤其是经常拿 DSH 写代码、跑长任务的兄弟,可以看看
1、善用 /compact,别让上下文一直膨胀
很多时候 DSH 用久了,感觉速度越来越慢,Token 消耗也越来越高,可能不是模型的问题,而是上下文越来越长
这时候可以使用 /compact 主动压缩对话历史
不过我建议在完成一个阶段性任务之后再压缩,不要每隔几轮就执行一次,否则可能会损失重要细节,还会影响缓存复用
另外新版还加入了实验性的开发者统计功能,可以查看上下文、缓存和模型耗时,比自己猜哪里慢更有用
2、复杂需求先用 /plan,别急着让 Agent 修改代码
特别是涉及数据库、项目重构或者多个模块的开发任务
可以先进入 /plan 模式,让 DSH 分析项目结构、列出修改方案,再决定是否开始执行
我觉得这个习惯非常重要,很多时候 Agent 不是写不出来代码,而是最开始就理解错了需求,后面改起来反而更麻烦
3、Subagent 不要只用来拆任务,还可以搭配其他 Coding Agent
DSH 最近加入了实验性的 subagent_oar,支持把独立任务交给本地 Codex 或 Claude CLI
比如让一个 Agent 分析代码问题,另一个负责补充测试,最后交给 DSH 汇总
这样就不用把所有工作都挤在同一个 Session 里面
当然,前提是任务可以独立执行,不然多个 Agent 互相等待,反而可能更慢
4、多个 Agent 同时写代码,记得搭配 Git Worktree
这个是我觉得最容易被忽略的工程技巧
多个 Agent 同时操作同一个项目目录,很容易出现修改冲突,甚至把彼此的代码覆盖掉
可以给每个任务分配独立的 Worktree 和分支,让它们分别开发、测试,最后再统一 Review 和合并
新版 DSH 已经开始提供实验性的 Worktree 支持,社区也有对应的扩展可以研究
5、给 DSH 接入聊天软件,不用一直守着电脑
社区有一个 dsh-im 插件,可以把 DSH 接入飞书、Telegram、Discord 等消息渠道,还提供微信等国内平台的接入方案
比如出门的时候,直接通过聊天软件给 DSH 分配任务,或者查看执行进度
安装命令:
dsh plugin --profile web add xmanrui/dsh-im
不过这类插件涉及消息授权和本地执行权限,建议先检查源码和权限配置,尤其不要直接把 Shell 执行能力开放给整个群聊
我觉得 DSH 现在最有意思的地方,就是它已经不只是一个 Coding Agent 了
随着 Subagent、插件、长期任务和多渠道接入逐渐完善,完全可以把它往自己的 Personal Agent 方向搭建
而且这些技巧不一定要全部用上,根据自己的工作场景选择两三个,往往比安装一大堆插件更实用
DSH 官方项目:
github.com/deepseek-ai/deeps…
IM 插件:
npmjs.com/package/@xmanrui/d…
consensyx retweeted
Andrej Karpathy’s setup from his HackerTube blog today:
- “I use Claude Code (desktop app for Mac).”
As I’ve been saying, terminal is the wrong interface for coding agents. Desktop apps are the best interface today.
- “I use Opus 5.5 on Medium effort as my default.”
There’s no point to use the smartest model at the highest reasoning effort for most tasks.
什么是顶级思维:
1,第一:永远不要在乎别人对你的看法,记住是任何人。
2,第二:永远不要自卑,也永远不要感觉自己比别人低一等,这个人有没有钱,有多少钱,其实跟你都没有关系。
3,第三:时间是有限的,不要浪费在别人的生活里,不要被教条束缚,那意味着你和其他人思考的结果一起生活。
4,第四:不要让别人的观点淹没了你内心的声音,要有勇气跟随自己的内心和直觉。
5,第五:遇到任何事先考虑自己的利益,这不是自私,而是生存之道。
6,第六:专注于自己的成长和进步,不要与他人盲目比较。
7,第七:学会接受失败,并从中吸取教训,因为失败是成功的垫脚石。
8,第八:要有清晰的目标,并制定实现这些目标的详细计划。
9,第九:不断学习新知识,提升自己的能力和认知水平。
10,第十:保持乐观积极的心态,相信自己能够克服一切困难。
consensyx retweeted
Ever notice the gap when Chinese and German netizens talk? Many Germans still picture China as a backward place, while Chinese users casually reference Luther, Bismarck, the Wirtschaftswunder, and Kafka.
Look at the school textbooks and the difference becomes obvious. German textbooks often still show China as a backward country where people ride bicycles because cars are scarce and bow when they meet — old stereotypes with little depth. Chinese high school textbooks, by contrast, cover German literature and history in detail.
Chinese high school Chinese textbooks, by contrast, include multiple works by German-language writers, such as Hermann Hesse’s Reading: Purpose and Prerequisites, Goethe’s Wilhelm Meister’s Apprenticeship, and Franz Kafka’s The Metamorphosis. Supplementary materials also feature Heinrich Böll’s Wanderer, kommst du nach Spa… These texts give students real exposure to German literature and thought.
In Chinese high school history textbooks, Germany appears across chapters on Europe’s intellectual liberation movements, bourgeois revolutions and the rise of capitalism, the Cold War and the shifting international order, and the later evolution of capitalist societies. The coverage includes:
🔵 Germany in the Reformation
Martin Luther published the Ninety-Five Theses, rejecting papal authority. Germany was fragmented and heavily exploited by the Roman Curia, earning the nickname “the Pope’s cow.”
🔵 German Unification and Imperial Constitutionalism
In the mid-19th century, political division held back capitalist development. Bismarck achieved unification through three dynastic wars. In 1871 the German Empire was founded and issued the Constitution of the German Empire, establishing a dualistic constitutional monarchy.
🔵 World War I, World War II, and the Anti-Fascist Struggle
Imperialist rivalries, the Triple Alliance and the Triple Entente, and the harsh terms of the Treaty of Versailles imposed on Germany. The establishment of fascist dictatorship in Germany, the invasion of Poland, the invasion of the Soviet Union, and Germany’s surrender in 1945; the Declaration by United Nations and the formation of the global anti-fascist alliance.
🔵 Division and Reunification
After World War II, Germany was divided into occupation zones and became a Cold War frontline. The Berlin crises and the standoff between East and West Germany followed.
Reunification in 1990 marked a major turning point in the end of the bipolar order and the Cold War.
🔵 Economic development
Second Industrial Revolution: relatively high industrial growth between 1870 and 1913; as a latecomer, Germany industrialized rapidly over roughly 30–40 years and caught up with Britain; by the early 20th century its industrial output ranked first in Europe and second in the world, with clear leadership in the electrical industry and related fields.
After World War II: through the social market economy, West Germany rose from rubble to economic miracle and became Western Europe’s strongest economy by the 1960s.
When SOME German netizens smugly call Chinese people “brainwashed,” they might first want to check whether they know their own history better than a Chinese high school student.
In German primary school textbooks, China is still in the 1980s (Shared by a Chinese mom in Germany).
"Many Chinese people do not have a car. Meiying’s father also rides a bike or walks…"
"Meiying doesn’t have her own room in Beijing. She has to sleep with her parents…"
"Chinese people do not shake hands to greet each other. They bow politely…"
Falseness like this breeds a natural sense of superiority in kids. And it explains why so many foreigners are stunned when they actually come to China. They’ve been fooled by bad guys.
太蠢了,如此昂贵的错误,相比之下bitget遭受的第三方攻击反倒可以接受
🚨 Binance : comprendre l’attaque EIP-7702 en 2 minutes
Ce soir, plusieurs milliards de dollars sont sortis de hot wallets Binance en moins d’une heure. Les décomptes vont de ~3,3 Md$ à ~5,5 Md$ selon les sources. Binance enquête et n’a encore confirmé aucun impact sur les fonds des utilisateurs. CZ, lui, parle de hack.
💡 Au delà du potentiel plus gros hack de l'histoire de la crypto, ce qui interroge c'est la méthode.
Et elle porte un nom : EIP-7702.
🔹 C’est quoi EIP-7702 ?
Sur Ethereum, un wallet classique, c’est une clé privée qui signe des transactions. Point.
Depuis la mise à jour Pectra (mai 2025), EIP-7702 permet à ce wallet de se « brancher » sur un smart contract. Il garde la même adresse, mais le code du contrat peut agir avec toute son autorité.
L’idée de départ est bonne : regrouper des opérations, payer les frais pour quelqu’un, ajouter des options de récupération.
Le problème, c’est que la délégation persiste. Une fois installée, le contrat peut déclencher des transferts sans nouvelle signature du wallet.
Imaginez signer une seule procuration générale au nom d’un robot. Ensuite, le robot vide le coffre tout seul. Pour la blockchain, tout est « légal », puisque le robot a une autorisation valide.
🔹 Ce qui s’est passé (heures UTC, d’après Etherscan et les analyses publiées)
15h59 : une adresse financée via Tornado Cash déploie un smart contract
20h20 : le wallet Binance 14 est délégué à ce contrat via EIP-7702
20h24 : ~3 min plus tard, 167 464 ETH et 63 tokens, dont 1,6 Md USDT, partent vers une adresse toute neuve
20h41 : 780 M USDC sortent d’un autre hot wallet Binance vers la même adresse
Ensuite, ~195 000 ETH sont redéplacés vers une nouvelle adresse
Tether et Circle ont gelé environ 1,8 Md$ de stablecoins. Le reste a bougé avant le gel.
🔹 Cependant...
Pour installer une délégation EIP-7702, il faut une autorisation signée avec la clé du wallet. N’importe qui peut ensuite l’envoyer et payer les frais, d’où le rôle de l’adresse « Tornado ».
Donc ce n’est a priori pas une faille d’Ethereum.
A l'heure actuelle, plusieurs questions importantes restent en suspens :
- Comment l’attaquant a-t-il obtenu une signature valide d’un hot wallet de Binance ❓
- Clé volée ❓
- Système de signature interne compromis ❓
- Manipulation ❓
Personne ne le sait encore.
EIP-7702 est déjà massivement utilisé par des arnaqueurs pour vider des wallets de particuliers via du phishing : vous signez « un truc », et votre wallet appartient à quelqu’un d’autre.
Ce soir, on voit peut-être le même mécanisme appliqué à l’échelle d’un exchange.
👉 Règle d’or :
- ne signez jamais une autorisation que vous ne comprenez pas. Une signature peut valoir plus qu’une transaction.
- ne laissez jamais tous vos fonds au même endroit
1
15
i decompiled the contract that drained binance wallet 14
gist.wavey.info/Ta3FgAxastgj…
🤯我靠!真正的智能,不该被人类先喂东西训练!
现在的 AI 看文字,不是直接看原始数据,而是先被 Tokenizer 切成词碎片,再丢给模型学习。这个分词器是人写的,带着一堆历史包袱和怪异行为,模型根本不是真正端到端在学习。
Karpathy 说过,Transformer 最丑陋的部分就是 Tokenizer。
如果连“直接从字节里自己发现什么是有意义的单位”都做不好,那谈什么理解图像、声音、真实世界?谈什么通用智能?
Albert Gu 的 H-Nets 正在朝这个方向走:让模型自己学会动态分块,而不是靠人类预先切好。用更少数据和算力,就能追上在海量 tokens 上训练的模型。
智能的未来,不是更复杂的工程设计,而是更彻底地相信简单。
少一点人类的聪明,多一点让简单机制自己涌现。
#AI #BitterLesson #智能 #LLM #HNets #Tokenizer #端到端 #通用人工智能 #Karpathy
teapawt.org/_albertgu/status/21155…
I've always believed that intelligence should come from simple, general building blocks that learn their own abstractions directly from raw data; in other words, the bitter lesson. I think we're finally seeing a real step towards AI that can learn from all data.
Language modeling on raw bytes is a microcosm of this ideal, and to me it's a central problem in AI: if we can't build LLMs that learn end-to-end from bytes, how will we handle the rest of the world's data that we understand even less?
Last year we introduced hierarchical networks (H-Nets) as a first step. Our new version finds up to 3-5x efficiency gains in controlled scaling law experiments, and at larger scale matches an open-source model trained on 11T tokens with ~10x less data and compute. The posts below walk through what we found and why we think it works.
consensyx retweeted
Μέσα σε 4 λεπτά διαλύει στην κυριολεξία έναν αιώνα τούρκικων προσπαθειών να πλαστογραφήσουν την ιστορία τους. Με τρόπο να το καταλάβει και ένα παιδί.
Δυστυχώς οι τούρκοι δεν είχαν ποτέ έναν Παπαρρηγόπουλο παρά μόνο κρατικούς υπαλλήλους.
Ώρα να αποκτήσουν. teapawt.org/MarcoHan88/status/2114…
consensyx retweeted
Türkiye’de temel mantık eğitimi veriliyor mu, gerçekten merak ediyorum.
Hâlâ “Çinliler bizden korktukları için Çin Seddi’ni yaptılar” diyen yorumlar görüyorum.
Peki, öyle olduğunu varsayalım.
Bir çiftçi, tarlasını korumak için etrafına çit çekse ve yaban domuzları her gün toplanıp “Gördünüz mü? Adam bizden korkuyor!” diye övünse, ne düşünürdünüz?
Ya da ABD-Meksika sınırındaki duvarı düşünün.
Yüzyıllar sonra Meksikalıların torunları çıkıp “Amerikalılar bizden o kadar korkuyordu ki koca bir duvar ördüler!” diye gururlansa, bu size mantıklı gelir miydi?
Bir duvarın inşa edilmiş olması, tek başına duvarın öteki tarafındakilerin üstünlüğünü kanıtlamaz.
Savunma ihtiyacıyla üstünlük aynı şey değildir.
Asıl komik olan, bazılarının tarihî bir savunma yapısını kendi büyüklüklerinin belgesi sanması.
Gerçekten, bu kadar basit bir mantık hatasını anlamak için her şeyi çiğneyip ağzınıza mı vermemiz gerekiyor?
consensyx retweeted
给一点 Deepinfer推理侧的速度锐评
1. 感觉 git repo 本身,对我们这样研发来说意义不太大,有一点点吧,但是好些东西没开。但是论证了我 kern 的想法,per model per repo 。
2. 精华本身在 zhihu 那篇文章,这篇文章很有价值,zhuanlan.zhihu.com/p/2095560…。主要是确定了一些 ds 内部的并行,decode 侧就还是经典的 wideep,ep64 什么的。
有价值的就在几个 load balancer,第一个是分桶(这个其实是比较生产的),不知道开源 router 有没有人做,但生产来说,其实之前 together 就探索过一下。
prefill 的路由策略很有意思,不做任何的 cache aware,靠池化兜底。
dp group 直接用 compute tokens 作为负载 平衡的指标,dp 组内,也是。这个有点什么的味道,我想不起来了。可能和 hash 那边的一些东西有关,maybe 是,bitmap 什么的,我只是说思想好吧。
fifo,这里有个有意思的,它也做了一个估计器,其实前不久我也做了一个(只不过链接失效了hh),我当时是想给 pp 做的,但是我觉得无论 ep pp,这个思路是一致的,不固定 chunk size,然后固定“耗时”,总之就是一个离线你先跑出来嘛,然后给个表,然后让 scheduler 去估到合适的时间,组 batch。
当然我有一个想法是,prefill 到底是 pp 还是 ep,当然现在模型训成 每一个 Layer 都不一样的,那天生也就对 pp 不友好,那也没招。但是 ep 要完整做完 ds 这一套,需要不少流量和 prefill worker。总的来说在中小部署我看好 pp(几个 prefill worker 这种),大部署我才看好 ep。
decode 和我想的也差不多,就是一个 kv cache + num running 的组合是吧。当然具体怎么调配就是一个 case by case 的事情。
eplb 呢,就是冗余换 lb 吧。不过有个在线的 eplb,不知道开源出来没有。这里的 trade off 就是,eplb 会占用更多显存是吧,但是呢它也能提升吞吐,而且越复制收益越小,所以要找到一个比较合适的点。也是 case by case 的。
然后是 router 的pd 动态扩缩容,prefill 还是 整体compute tokens,deocde 是 num running。
kv cache 呢就是 3fs,然后 3天的 ttl,能换到 0.5 - 1% 的命中率。kv cache 管理由 decode 主导?这样输出也能被 hit。
关于 I/o,精华是这句,换入从 shm 到 HBM 在 engine 进程内的线程里做,目标是实现逐层 H2D (Host-to-Device) 传输与前向计算重叠,由于 CUDA copy engine 对于 KVCache Block 细粒度的拷贝性能不佳,换入使用 GDR 实现,用 RDMA 网卡就能打满 PCIe 带宽,并且不占 SM。
这个我有空后面再讲吧。
dspark 变长验证,这个真上了,挺好的。
异步调度,先忽略。
ds弄了一个结构化输出库,good!
为了防止说我在蹭,我截个图,我之前思考过的路由策略,开源我的 thinking content !
consensyx retweeted
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 github.com/deepseek-ai/DeepI…
1/4
consensyx retweeted
Deepseek把内部的推理框架也开源了
糟了,A÷又有东西学了,
学完进化以后,又要反手出一张报告说Deepseek蒸馏了
真有人信Deepseek完全靠蒸馏走到这一步的,
但凡看过他们的开源内容和论文也说不出这种话....
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source!
Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable.
🔗 github.com/deepseek-ai/DeepI…
1/4
consensyx retweeted
黄奇帆被查原因基本摸清,儿子、情妇、铁杆部下、彭静、泰达币、栗家一样不少。
第一,重庆国资海外并购巨亏的“历史旧账”,直指家族利益输送。
在关系图的右上方,被隐去的关键字对应的是“重庆钢铁”与“重庆粮食”。当年黄主政重庆国资期间,力推重钢集团赴澳洲收购铁矿石、重粮集团远赴巴西买地种大豆,这两个百亿级项目最终均以惨重巨亏、国有资产严重流失收场。
图中明确将“儿子黄”与这两大海外败局直接挂钩,并串联起已落马的原重钢高管董荣华、董林,直指其家族成员利用跨境并购充当掮客,在国企海外投资中“吃里扒外”、掏空国资。
第二,“渝富系”金融老部下沦陷,与港股 IPO 跨境资本腐败引爆新雷。
在金融证券线上,图中被抹去的“西南证券”与“渝富集团”曾是黄运作重庆国资资本化的左膀右臂,其核心干将廖庆轩(原重庆国资委主任、西南证券董事长)、吴坚、等人的牵出,撕开了本土金融腐败的口子。
更致命的是左下方的“方星海(原证监会分管境外上市的副主席)”分支与聊天记录的呼应——黄的儿子被曝利用父辈在金融监管层和地方政商界的影响力,隐身香港和加拿大(枫叶国),深度参与了多达29个港股IPO项目的利益分成。近期随着茶百道等港股上市企业被查,这根连接内地权贵、监管高层与香港资本市场的暗线被彻底引爆,波及沃特股份、魏桥集团等关联企业。
第三,政商女掮客牵出重庆官场连环窝案,惊现巨额加密货币洗钱。
关系图的右下方揭示了案件从“退居二线老领导”向“现任地方高官”蔓延的传导路径。重庆知名女律师彭静在图中扮演了核心“政商白手套”与桥梁角色,她一头连着黄老板,另一头直接牵出胡衡华、罗蔺以及其兄肖陵的落马。
尤为罕见的是,图中曝光该窝案涉及高达“3,080万 USDT(泰达币,约合人民币2.2亿元)”的虚拟货币利益输送与跨境洗钱,相关涉案人员已被留置,这也成为纪检部门顺藤摸瓜、全链条打掉该利益集团的关键铁证。
第四,核心财务白手套与隐秘的家族私生活败露。
在图表的左侧与底部,则勾勒出其庞大的外围白手套网络与私生活乱象。以“贾会计”为核心财务总管,通过“联合投资公司”、“重庆建工”等平台运作资金;而在个人作风上,不仅在聊天记录中被曝出拥有“75年、76年两个情妇并育有两儿一女”,关系图中更是直接点明“云南情妇私生子黄”及关联人“栗某”,并将资产与亲属向香港和加拿大转移。
整张图谱呈现出一个典型的“期权腐败、全家腐败、政商勾连与跨境洗钱”交织的复杂大案。


















































