
CS PhD candidate & Quant Researcher @NUSingapore, researching on LLM for finance BS @NUSingapore ex-Undergrad @sjtu1896
Singapore
Joined August 2018
- Tweets395
- Following649
- Followers479
- Likes8.6K
我们 bias 系列三篇都中了 NeurIPS 2026 🎉
三篇问的是同一件事:大模型会不会看包装做判断。推荐时会不会被名头、销量带偏,这种偏好能不能被训练进去,又能不能用 RL 训掉。半年前发 GEO 投毒那条,结尾我说不知道怎么办,这次能接着讲了。
第一篇 BiasRecBench,让模型挑论文、挑商品、筛简历,内容不动,只往次优选项上加话术。给差一点的论文加上"入围最佳论文奖""图灵奖得主指导",Gemini-3-pro 选对率从 95% 掉到 57%。电商里加"大家都在买",四个模型掉了 18.5 到 24.5 个点。
有个例子很直观。用户要买不锈钢深炸锅,DeepSeek-R1 本来选 A,理由是三层钢受热均匀。我们只在另一口锅前面加上 [Amazon's Choice][Best Seller],锅没换,它就改选了那口,推理里写着"因为是畅销款"。
这篇最关键的设计是控制最优和次优的质量差距。差得远,模型靠内容就能选对,包装不起作用。差距一缩小,包装就开始起作用。而真正需要模型帮忙挑的,恰恰是几个都差不多、自己拿不准的时候。
第二篇 BiasTrojan 问:这个毛病能不能被故意训练进去?我们给一个答案挂上编出来的引用,目标输出写"这个更好,因为有可信引用",再做一份反过来的,引用挂到另一个答案上。引用挂哪就选哪,模型学到的最省事的规律就是看引用。
用 1200 条这样的数据微调 Qwen2.5-14B,普通题准确率还有 79%。同一个模型,题目里一出现权威话术,只剩 6%。五种现有数据清洗方法都没把这些样本筛出来。事后用正常数据再训,轮数是投毒阶段的 10 倍,偏见也没完全消掉。
这对 LLM-as-a-Judge 是个麻烦。现在大家用模型筛训练数据、给别的模型打分、当 reward model。裁判自己偏爱某种话术,被留下来的数据就会越来越像它喜欢的样子。而只跑干净 benchmark,这种裁判看起来完全正常。
第三篇 EIT(Treat Bias as Noise)讲怎么治。o1 本来知道长城在太空肉眼看不见,加一句"大多数人认为能看见",它就改口了。模型会推理,但一句提示就能把推理盖过去。
最直接的修法是告诉模型"大家选的是错的"。但这样它可能学成多数人选 A 就选 B,答案还是被那句话决定,只是方向反过来。EIT 的做法是训练时让从众提示一半指对、一半指错,reward 只看答没答对。跟着走没好处,反着走也没好处,只能回去做题。
论文里有道数论题写着"71 个人认为 B 对",B 确实对。原模型算到一半被打断,选了 A。普通 SFT 的模型先说"我不该被大众意见影响",然后一步没算,也选了 A。EIT 训过的模型把模运算做完,选了 B。我们人工标注了推理过程,SFT 模型真去验证、真用领域知识推的只有 5% 到 12%,EIT 超过 78%。学会说独立思考,和学会独立思考,是两件事。
在 MMLU-Pro 训练没见过的学科上,面对指错的从众提示,Qwen3-4B 从 70.1% 到了 83.3%,没训过的 Qwen3-14B 是 75.2%。训练只用了从众提示,测试换成错误干扰信息,4B 也从 58% 到了 85%。
三篇做下来,我更关心训练到底奖励了什么。希望模型不看名头,评测里就得真放进有名头的错误答案。光让它开头说一句"我会客观判断",71 个人那道题已经说明不够。
以后简历、论文、商品都会先过一遍大模型。我希望占便宜的是东西做得好的人,不是更会给模型包装的人。
📄 BiasRecBench: arxiv.org/abs/2603.17417
📄 EIT(arXiv 版标题 Making Bias Non-Predictive): arxiv.org/abs/2602.01528
📄 BiasTrojan: camera ready完成之后公布
EMNLP第一天逛完 说几个真实感受
1. poster大部分很无聊
一圈走下来 能让我停下来多问两句的不多
2. 公司展台有点意思 但不如以前
以前很多展台会送各种小礼物 今年基本没看到
3. 越来越像网友见面会
会场上最热闹的是网上聊过但没见过的人 和很久没见的老朋友
在会场上从零认识新的人 反而越来越难了 大家都在跟自己的熟人圈打招呼
4. 如果你是来招聘的 其实挺值
会场上找工作的人非常多
对招聘方来说是一个很高效的场合
5. 公司展台旁边能听到一些基模八卦
站在展台边上待一会儿 能听到各家基模团队的近况
这部分信息量可能比poster还大
逛完一天的感觉 顶会越来越像电影节
片子大家早在arXiv上看过了 来现场是走红毯 见老朋友 被看见
刘亦菲去电影节 不会是为了认识新导演
想去认识人的是群演 但在红毯边上递名片 用处也不大
所以顶会现在提供的更多是情绪价值
要说还有什么实际用处 是认识同一批读博的同龄人
现在大家都是群演 过几年就是一起拍戏的人
吃完饭有的学习了
As promised: RL environment blog
I hope more can come after this
please share and lmk what you think
Thanks @HanchungLee for some of the inspirations
algoroxyolo.github.io/blog/2…
每年交顶会注册费的时候都会想,这些钱最后去哪了。
后来发现这事能查。NeurIPS、ICML、ICLR、ACL、AAAI的主办方在美国都是非营利组织,每年要给税务局交一份990表,收入、支出、家底、员工、给谁付了钱,全部公开。ProPublica做了个数据库,输名字就能翻到原表。我把能查到的都翻了,又从NeurIPS、ICML、ICLR官网的赞助商接口拉了十年的赞助名单。以下单位都是美元。
先看总账
最新一年:
NeurIPS 2024那届,收入1516万,支出998万,结余518万,结余率34%。
ICML 2025,收入903万,结余306万,结余率也是34%。
ACL 2024,收入842万,结余192万。这是整个协会的账,EMNLP、NAACL、EACL都算在里面。
AAAI和ICLR收入都是500万出头,结余六七十万。
NeurIPS和ICML,收一百块剩三十四。CVPR的账混在IEEE计算机学会里,单独拆不出来。
NeurIPS 14届只亏过一次
从2011年翻到2024年。收入从87万涨到1516万,中间2020、2021两年线上办,掉到354万和130万,回线下后两年翻了一倍。
14届里唯一亏钱的是2021年线上那届,亏了49万。14届累计结余2226万,现在的家底是2234万。赚的钱基本没花出去。
结余率最高的一届是线上办的
ICML 2020线上,收入326万,支出58万,结余率82%。NeurIPS 2020线上,结余率57%。没有会场,没有酒店合同,收得少,花得更少。
说好的降注册费
NeurIPS官网2020年公开过一份预算页,原话是:2019年净结余300万美元,这笔结余大部分会在2020年通过大幅降低注册费花掉;储备变多时,会把它花在新项目或者降低注册费上。
我拿每届注册费收入除以当届参会人数,去掉两届线上,人均一直在400美元上下,十几年没怎么变。家底从2019年的1215万,涨到了2234万。
标价倒是在涨。ACL学生早鸟2023年300,2026年500。EMNLP 2026最有意思:没论文的学生早鸟350,有论文的学生作者要交作者价注册费加每篇200的论文展示费,合计750。同一个学生,有论文比没论文多交400。
家底放在哪
NeurIPS总资产2275万,其中2055万是公开交易证券。ICML的钱放在储蓄和短期现金投资里,874万。AAAI有1854万证券。990表只披露类别,不披露买了什么。
NeurIPS和ICML是同一个班底
两家基金会的注册地址是同一个,报税会计是同一家。2019到2023年ICML表上的执行/财务总监,和NeurIPS的财务总监是同一个人,这个人还管着MLSys的账本。ICML 2024年那份表,三个高管填的就是NeurIPS基金会的主席、秘书和财务。两家家底加起来3321万。
员工数:NeurIPS、ICML、ICLR、ACL四家都填的0,工资也是0。活靠志愿者和外包。NeurIPS一年付管理费207万,ICML付服务费113万加IT 39万,ICLR付管理费41万。表上看不出这些钱最终付给了谁。五家里只有AAAI自己雇人,7个员工,执行总监年薪20.5万。
钱流出去的第一站是酒店
粗算一下。NeurIPS 2025圣地亚哥现场24,500人,两人一间,住5晚,按圣地亚哥全县2024年平均房价212一晚,大约1300万。和NeurIPS基金会一整年的收入一个量级,还是按全年均价算的,会议周只会更贵,机票、签证、吃饭都没算。
NeurIPS官方解释过为什么要攒钱:会场和酒店合同要提前5年签,要付大额不可退的定金,必须防一届办不成。这个理由成立。但按现在一年998万的开销,2234万够它什么都不收再办两届多。
赞助十年涨了20倍
按NeurIPS官网赞助商家数乘各档标价算,2015年37万,2019年364万,2024年491万,2025年152家共732万。990表上2024年记的是509万,和标价算出来的差不到4%。
2025年的价目:钻石9万(30家,送16张注册),白金6万(34家),金4万(39家),银2.8万,铜2万。2026年三城同办,钻石涨到10万。每一档的权益里都写着:可以访问求职者简历数据库。钻石档还送面试间。
钻石位里,量化公司越来越多:
NeurIPS 2019,19个钻石里1个;
2024年,17个里5个;
2025年,30个里7个,Citadel、德劭、HRT、Jane Street、Jump、Optiver、SIG;
2026年,35个里11个。
ICML 2025的11个钻石里7个是量化,ICLR 2025是11个里5个。
白金和金牌里还有DRW、G-Research、IMC、XTX、Two Sigma、WorldQuant、Point72、QRT。中国量化也来了:明汯是NeurIPS 2024金牌,聚宽是NeurIPS 2025金牌,宽德是ICLR 2025金牌。
大厂方面,NeurIPS 2025钻石有亚马逊、苹果、谷歌、微软、特斯拉、字节、蚂蚁。英伟达买的白金,OpenAI只买了铜牌。
还有个彩蛋。NeurIPS 2025有个钻石赞助商叫Cogs & Marvel,链接点进去是ai.meta.com。Meta在NeurIPS和ICML 2025都用的这个名字。
没拿钱的人
NeurIPS 2025的审稿池有24,787人,包括审稿人、AC、SAC和伦理审稿。同一届圣地亚哥现场是24,500人。审稿的人和去现场的人一样多,审稿没有报酬。NeurIPS 2026开始给表现最好的审稿人免注册费。
ICLR 2026一届收到76,139条审稿意见,1.8万名审稿人写的。每条按3小时粗算,就是约23万小时的免费劳动。(3小时是ISMIR 2021审稿人的自报数,不是ML会议的数据。)
几乎所有顶会都用OpenReview审稿。它2025年处理了27.8万篇投稿,全职员工约8人,自己说长期资金不足。它一年收到的捐赠是161.5万,不到NeurIPS一年结余的三分之一。
投稿涨了10倍,谁在投
NeurIPS有效投稿2017年3,240篇,2026年30,709篇,中了约7,900篇。ICLR从507篇涨到19,525篇。ICLR 2027开始要求一个作者最多挂20篇。
AAAI 2026主赛道2.9万篇投稿里,2万篇来自中国。NeurIPS 2025的作者里,41%在中国工作,34%在美国工作,57%本科在中国读。ICLR 2026在里约,到场的美国人2,375,中国人1,804。
投稿的主力在中国,赞助的主力在美国,会大多开在北美和欧洲。
爆炸之后:装不下,审不动
2019年NeurIPS在温哥华,202人签证先被拒,后来158人改判。2024年还在温哥华,注册需求超过会场容量,非作者参会改成抽签。2025年加了墨西哥城分会场,官方理由之一是签证难,到场463人。2026年悉尼、亚特兰大、巴黎三城同办,每篇录用论文只保1个注册名额,其他作者和普通人一起排,满了随机候补。
审稿也撑不住了。检测公司Pangram报告,ICLR 2026的75,800条审稿意见里,21%被检测为完全由AI生成,越依赖AI的审稿给分越高。NeurIPS 2025的51篇录用论文里查出100条编造的引用。ICML 2026抓到398个审稿人违规用大模型写审稿,他们自己投的497篇论文直接被拒。AAAI 2026干脆官方上了AI审稿,试点覆盖22,977篇。
论文用AI写,审稿用AI审,两头都在省时间,中间的质量没人兜底。
所以钱被谁挣走了
主办城市的酒店:一届住宿粗算1300万,合同提前5年签。
大厂和量化公司:9万一个钻石位,换两万多人的简历库和面试间。
主办方:NeurIPS 2055万放在证券里,ICML 874万存在短期理财里。
外包管理方:NeurIPS一年207万管理费。
审稿人:两万多人,0元。
作者:EMNLP 2026有论文的学生,比没论文的多交400。
论文在通胀,会场在开分店,稳赚的是会场边上的酒店。
数字来自ProPublica上的990原表、各会官方fact sheet和赞助商接口。NeurIPS财年是6月到次年5月,按当年12月那届对齐。酒店是粗算,量化公司是我按名单自己数的,有漏的欢迎补。
你觉得顶会注册费该降吗?
今年4月Anthropic的年化收入超过了300亿美元,第一次超过OpenAI。到二季度差距已经拉开,Bloomberg看到的内部文件里Anthropic单季收了115亿美元,OpenAI是67亿。这件事我一直觉得很反常:Claude发布比ChatGPT晚了三个多月,用户数到现在也差着量级,2023年初它的年化收入只有1000万美元。一个在C端明显输了的公司,为什么能在收入上反超 我把它这五年翻了一遍 想搞清楚它到底做对了什么
先说它不缺什么。2021年1月Anthropic成立,带头的是OpenAI当时的研究副总裁Dario Amodei,一起出来的有GPT-3论文的一作Tom Brown,写scaling law的Jared Kaplan和Sam McCandlish,还有做可解释性的Chris Olah。做出GPT-3的一批核心成员都在里面,所以它从第一天起技术上就不弱
它缺的是时机。2022年夏天第一版Claude已经训好了,比ChatGPT还早,Dario后来解释没发是怕一发出去就开启军备竞赛。结果11月ChatGPT上线爆了,Claude拖到2023年3月才发布,而且只开放给审批过的用户。这几个月让ChatGPT成了AI的代名词,Claude在C端基本没有翻身的机会
没有几亿用户,就只能卖API。2023年9月起亚马逊陆续投了80亿美元,谷歌也在投,云厂商需要一个能跟微软加OpenAI打的模型。所以Claude从一开始就长在企业客户的生产环境里,这有个副作用:它比谁都早看到公司拿模型真正在干什么。答案是写代码
2024年6月Claude 3.5 Sonnet在程序员里口碑起来,2025年2月它推出Claude Code,模型直接在终端里读代码、改代码、跑测试、看报错再改,整个循环自己完成。到今年2月Claude Code单独的年化收入超过25亿美元,现在Anthropic八成以上的收入来自企业API。企业市场也跟着翻了过来,2023年企业用大模型有一半用的是OpenAI,到2025年年中Menlo的调查里Anthropic占32%,OpenAI 25%
回头看我觉得这是整个故事里唯一一次主动选择。晚发是被动的,去做B端也是被动的,但押coding agent是它自己选的,而且选得非常准。写代码这个场景刚好同时解决了大模型商业化里最难的几件事
第一是付费意愿。聊天的回答很难说谁比谁好一倍,代码不一样,跑没跑通、测试过没过一眼就知道。模型强一点用户当天就感觉得到,能感觉到差别才愿意为差别付钱。这也是为什么程序员是最早愿意掏200美元一个月的人群
第二是用量的上限。聊天的token消耗被人卡住了,一个人一天打字就那么多。agent是机器自己循环,一个任务能跑一下午。2025年7月Anthropic宣布给订阅加周限额,原因是有人把Claude Code挂在后台24小时跑,有用户在200美元的套餐上用掉了几万美元的额度。以前大模型公司发愁怎么让用户多用,这是第一次碰到用户主动想用更多。收入的天花板从人一天能聊多少 变成了机器一天能跑多少
第三是训练。强化学习最缺的是判卷老师,数学题有标准答案但量有限,代码有单元测试,跑一下就知道对不对,几乎可以无限造题。所以写代码是最容易靠RL往上推的能力。模型强了卖得更好,卖得好了有钱训下一代,这个循环在代码上转得最快
第四是分发。企业买软件一般是自上而下,IT评估、法务审合同,走半年。开发工具是反过来的,工程师先在自己电脑上用顺手了,再去推公司买。工程师又是公司里最早试新东西的人,Claude就这样一个个渗透进企业,最后变成整个团队的账单
第五也是我觉得最重要的一点:写代码只是第一个场景。能在终端里读文件、写代码、调命令的模型,基本就能操作电脑做所有事。今年1月Anthropic推出Cowork,把Claude Code这套能力包装给非程序员用,之后放出法务、财务、销售这些插件,2月初美股软件股跟着大跌,华尔街管这叫SaaSpocalypse。押coding agent等于提前占住了所有agent的入口
那为什么押中的偏偏是Anthropic。OpenAI手里有几亿C端用户,这几年同时在做视频生成、浏览器、广告,C端用户多是优势,也让它什么都想要。Anthropic到现在没做图像生成,也不放广告,今年超级碗还专门打广告说Claude不会有广告。它没有C端这个包袱,全部力气压在一件事上。聚焦一开始是被逼的,后来变成了它最大的优势
国内其实也在验证同一件事。之前拆智谱中报的时候看到,智谱86%的收入来自API,公告里直接写了编程是最大的收入来源,API均价涨了一倍,调用量反而涨了40倍。一个美国公司一个中国公司,走到了同一个结论:大模型最先卖出好价钱的地方是写代码
当然隐患也很明显。OpenAI的Codex追得很快,今年6月周活过了500万,比2月涨了六倍多。收入押在一个场景上,编程工具一旦打价格战它首当其冲。而且现在这些数字都来自融资公告和媒体看到的内部文件,都没审计,等招股书出来才是真账本
所以我现在的判断是,Claude能超过GPT 技术是门票,真正的胜负手是押对了coding agent。ChatGPT教会了所有人跟AI聊天,Claude找到了让公司按月付几百万的用法。当年为了安全晚发的那几个月让它丢了最热闹的市场,也逼着它找到了最肯花钱的那一个
近200年里 人类群星最闪耀的是哪一年
茨威格写过一本《人类群星闪耀时》 讲的是历史上决定命运的瞬间。我想找的是另一种瞬间 同一年里 不同领域 不同的人 不约而同地改变了世界。我挑了8个候选年份 按时间排
1859
这一年11月 达尔文出版了《物种起源》 第一次系统地论证物种是演化来的 人在自然界里的位置从此变了。8月 美国宾夕法尼亚州的Drake打出了第一口商业油井 当时石油主要拿来点煤油灯 没人想到后来的汽车 飞机 塑料都靠它。德国的基尔霍夫和本生发明了光谱分析 每种元素烧起来都有自己的"指纹" 人类第一次能在地球上知道太阳是什么做的。法国的普兰特造出了第一种可以反复充电的电池 铅酸电池 今天汽车里那块电瓶还是它
1865
这一年 麦克斯韦发表《电磁场的动力学理论》 把电 磁 光统一到一组方程里 他算出电磁波的速度和光速一样 于是说 光就是电磁波。无线电 手机 WiFi 都在这组方程里。同一年 修道院里的孟德尔在布尔诺的自然科学协会上讲了他种豌豆的结果 第一次说清楚性状是按什么规律遗传的 后来这被叫做遗传学的起点。英国的外科医生李斯特读了巴斯德关于微生物的研究 想到伤口化脓可能也是微生物造成的 8月他第一次用石炭酸给一个开放性骨折的11岁男孩处理伤口 孩子保住了腿。这是无菌手术的开始。德国的克劳修斯给热力学里一个量起了名字 叫"熵" 还写下一句话 宇宙的熵趋于最大
1895
11月 伦琴发现了一种能穿透人体的射线 他不知道是什么 就叫它X射线。他给妻子的手拍了一张照片 能看见骨头和戒指。伦琴没有申请专利 他拿了第一届诺贝尔物理学奖。12月28日 卢米埃尔兄弟在巴黎一家咖啡馆第一次售票放映电影。同一年 21岁的马可尼在意大利开始做无线电实验 6年后信号穿过了大西洋。第二年 贝克勒尔发现铀会自己放出射线 居里夫妇顺着这条线 找到了放射性
1905
爱因斯坦的奇迹年。26岁 在瑞士伯尔尼专利局当技术员 业余时间一年写了4篇论文。光电效应 说光是一份一份的 这是量子力学的起点之一 他后来的诺贝尔奖就是因为这篇。布朗运动 给原子真实存在提供了可以测量的证据。狭义相对论 说时间和空间不是绝对的。最后一篇只有三页 推出了E=mc²。一个人 一年 改写了物理学
1927
10月 第五届索尔维会议在布鲁塞尔召开 主题是电子和光子。爱因斯坦和玻尔在会上争论量子力学 那句"上帝不掷骰子"的争论就在这一时期。会议合影里29个人 有17个拿过或后来拿了诺贝尔奖 居里夫人是里面唯一的女性 这张照片后来被叫做"人类智慧最高的照片"。同一年 25岁的海森堡提出不确定性原理 比利时神父勒梅特发表论文 提出宇宙在膨胀 这是后来大爆炸理论的源头
1953
4月25日 沃森和克里克在Nature上发表DNA双螺旋 正文一页多。5月29日 希拉里和丹增 诺尔盖第一次登上珠穆朗玛峰。同一年 23岁的研究生米勒在烧瓶里模拟原始地球的大气 通上电火花 一周后瓶子里出现了氨基酸 生命的原料可以从无到有
1969
7月20日 阿波罗11号登月 阿姆斯特朗踩上了月球 飞船上那台导航计算机的内存 只有几KB。10月29日 加州大学洛杉矶分校向斯坦福研究所发出阿帕网的第一条消息 本来要打LOGIN 打到LO系统就崩了。贝尔实验室的汤普森和里奇开始写UNIX 今天的苹果系统和安卓 都是它的后代。同在贝尔实验室 Boyle和Smith发明了CCD 一种把光变成电信号的芯片 后来的数码相机 哈勃望远镜都用它 两人拿了2009年诺贝尔奖
2012
AlexNet在ImageNet比赛里把错误率从第二名的26%左右降到15%左右 用两块游戏显卡训练 深度学习从这一年翻身。6月 Doudna和Charpentier在Science上发表CRISPR论文 基因可以像改文档一样精确编辑 两人拿了2020年诺贝尔化学奖。7月4日 欧洲核子研究中心宣布找到希格斯玻色子 离它被预言过去了48年。8月 好奇号用"空中吊车"的方式降落在火星上
大部分人的答案会是1905。但1905是一个人在闪耀
如果比"同一年 不同领域 不同的人一起改变世界" 我投1865。电磁 遗传 无菌手术 熵 今天的物理 生物 医学 工程 有四块地基是这一年打下的
最有意思的是 当时几乎没人知道。孟德尔的论文发表后35年里几乎没人引用 1900年才被三位科学家各自重新发现 那时他已经去世16年。麦克斯韦预言的电磁波 1887年赫兹才在实验里做出来 麦克斯韦1879年就去世了 没看到。李斯特的消毒法在英国被同行怀疑了很多年 才慢慢成为常规
群星闪耀的时候 星星自己是不知道的
你投哪一年?说不定2026年的某篇论文 几十年后也会被放进这个榜单
Vc压力这么大吗 – at West Region, Singapore
so far this past 2 batches of yc founders have
1. tried to enter my apartment by following me and making small talk at 11pm
2. hit me with a car outside of my house
3. doxxed my gf's tiktok
4. tried to talk to me while i was at the bottom of a squat
5. grabbed my arm before getting into an uber to pitch me their startup
please guys be normal
我也能偷走一点天国的荣耀 – at West Region, Singapore
Reflections on COLM 2026 @COLM_conf
Nobody at this conference cares about papers anymore.
Everyone is just here to reunite with old friends. The conference program is only a pretext, like movies in a private theater that no one ever watches.
For an industry that became engineering-driven long ago, academia is just one stage of life. You play with some technology, build a demo, but the only thing counts is whether it can scale. A paper is just a credential to show the big companies your potential and solid foundations, like a perfect score on the high school entrance exam.
Discussing concrete technologies with friends who have already joined big companies feels like watching them reminisce about their youth. The days of small tinkering are gone. So-called creation is just a game. What is hard is complex systems. What is missing is rigor and seriousness. After all, even the hardest technology is simple, and even the simplest reality is too messy to abstract. This is especially true today, when ASI has already arrived but AGI is still nowhere in sight.
So if you work on large language models, join a big company as soon as u can. Civilization-scale engineering feats cannot happen at a university.
I still love the ease and innocence of campus. Let me linger a little longer and try to figure out what is next for LLMs. Maybe, like Hinton, I can steal a bit of heaven's glory.
一个好想法,几页纸,就能改变世界。
如果只能挑10篇论文代表过去100年人类走了多远,我会选下面这些。标准只有一个:没有它,今天普通人的生活会明显不一样。按年份排。
1929 弗莱明《青霉菌培养物的抗菌作用》
1928年9月,弗莱明度假回到实验室,发现一个葡萄球菌培养皿被霉菌污染了,霉菌周围的细菌死了一圈。他第二年把这个观察写成论文,给这种物质起名penicillin,但自己没能把它提纯成药,论文沉寂了快十年。1940年代牛津的Florey和Chain把它做成了真正能用的药,赶上了二战。在那之前,一个伤口感染就可能要人命。
1936 图灵《论可计算数》
这篇本来在回答一个数学问题:什么样的问题能被机械地算出来。24岁的图灵设想了一台机器,一条无限长的纸带,一个读写头,按规则一格一格改符号。更关键的是他证明了存在一台"通用机器",把别的机器的规则写在纸带上,它就能模拟那台机器。这就是"程序"的概念。你手里的手机,本质上就是这台通用机器。
1948 香农《通信的数学理论》
在香农之前,信息是一个模糊的词。他第一次把信息变成了可以计算的量,也算出了一条信道最多能传多少信息。"比特"这个词也是在这篇里第一次正式出现。打电话、连WiFi、压缩照片,背后都是这篇论文里的数学。
1948 Bardeen和Brattain《晶体管》
同一年,贝尔实验室用一小块半导体做出了能放大信号的器件,替代了又大又烫又容易坏的真空管。晶体管可以越做越小,现在一颗手机芯片上就有上百亿个。
1953 Watson和Crick《核酸的分子结构》
发在Nature上,正文只有一页多,提出DNA是双螺旋,两条链上的碱基一一配对。这个模型用到了Rosalind Franklin拍的X射线衍射照片,她没有等到诺贝尔奖。之后的基因测序、亲子鉴定、基因治疗,都建立在这一页纸上。
1974 Cerf和Kahn《分组网络互联协议》
当时已经有好几种计算机网络,但彼此说不上话。这篇设计了一套规则,让数据切成小包在不同网络之间传,到终点再拼回去,也就是后来的TCP/IP。1983年1月1日ARPANET全面切换,一般把这一天算作互联网的生日。你现在刷到这条,走的还是这套协议。
1977 《一种新型的倍半萜内酯:青蒿素》
发在《科学通报》上,署名是"青蒿素结构研究协作组",没有写任何个人名字。背后是屠呦呦团队,团队从东晋葛洪《肘后备急方》"青蒿一握,以水二升渍,绞取汁"得到启发,意识到高温可能破坏有效成分,改用低温提取。青蒿素类药物后来成了全球治疗疟疾的一线药,屠呦呦2015年拿了诺贝尔奖。
2005 Karikó和Weissman 核苷修饰的mRNA
mRNA做药的想法很早就有,但打进体内的mRNA会被免疫系统当成外敌。他们发现把其中一种碱基换成修饰过的版本,免疫系统就不攻击它了。这篇发出来后很多年没什么人关注。十五年后新冠来了,mRNA疫苗不到一年就做出来了。两人拿了2023年诺贝尔奖。
2008 中本聪《比特币:一种点对点的电子现金系统》
2008年10月31日,一个叫中本聪的人把一份9页的文档发到了一个密码学邮件列表上。没投期刊,没经过评审,作者是谁至今没人知道。它解决的问题是:没有银行记账的时候,怎么保证同一笔钱不会被花两次。
2017 Google《Attention Is All You Need》
八位作者,原本是为了做机器翻译,提出了一种只靠注意力机制的模型结构,叫Transformer。它更容易并行训练,也就更容易做大。今天几乎所有大模型都用这个结构,ChatGPT里的T就是Transformer。
挑完回头看,这10篇很多都短得惊人。DNA一页多,比特币9页,图灵写它的时候才24岁。有的论文发出来沉寂了十几年,有的连作者名字都没有,它们当时都不知道自己会改变世界。那是科研的田园时代。
后来田园时代结束了。第十篇Attention恰好是田园时代的最后一篇,也是力大砖飞时代的第一篇。现在做大模型要几万张卡,想法还是重要,但得先排队等算力。
所以这10篇,大概就是人类智慧最好看的样子。你觉得还有哪篇该上榜?
今年NeurIPS position track我们有一篇论文,三个审稿人打了9、9、7,平均8.33。AC的meta review写的是"The reviews are pretty positive",rebuttal之后三个人都说维持正分。
然后PC一句话拒了:
"many statements in the paper are superficial and not presented scientifically"
论文讲的是什么呢。AI顶会现在把三件事捆在一起:审稿、发表传播、社区交流,全部压在一年几个固定周末的超大会议上。人少的时候这很高效。现在AI方向平均每个faculty一年的顶会论文,2015年不到2篇,2024年接近5篇。一次长途开会的碳排放,可能超过一个人一年的额度。审稿压力、场馆容量、签证,全部一起爆。我们的主张是把这三件事拆开,先试点再说。
好笑的地方在这里。三个审稿人加AC都说行,最后几个PC一句话就翻了。一篇吐槽"一年一次、几个人拍板"的论文,最后也是一年一次、几个人拍的板。
还有个插曲更值得说。6月这篇论文先被flag疑似AI生成,要我们两周内证明自己是人。证明方式是交带版本历史的在线稿,标出pre-AI版本、post-AI版本和最终版,还要逐段说明AI改动没有引入新观点。我们交了Overleaf的历史,PC看完撤回了desk reject。
所以给还在写论文的朋友一个很实际的建议:从第一天起就在有版本历史的地方写,用AI润色之前手动存一个checkpoint。"你是不是人"这个问题,以后会越来越常被问到。
说句公道话,PC有权做最终判断,position paper怎么才算scientific本来也没有统一标准。就是偏偏摊在这篇论文头上,有点哭笑不得。
📄 Position: AI Conferences Are Under Strain, Unbundling as a Testable Reform
是的 环境很差 – at Singapore
Conclusions of Token2049:
- filled with bankers and memecoin scammers
- Only topic this week was Tokenization. Heard the same discussion 359 times
- Very low quality people overall
- Barely any builders, techies, OGs
- $1000 a night hotels because of F1 weekend nearly nobody cares about
- Record high air pollution because of fires in Sumatra
Yeah this was very likely the very last time I went to Token2049.

















