Stela blato💚

牛津与剑桥团队在《Nature》发文证实：用 AI 生成的数据反复训练下一代模型，会导致模型在 9 代以内彻底崩溃并胡言乱语 2024 年 7 月，牛津大学研究员 Ilia Shumailov 联合剑桥大学、帝国理工学院和多伦多大学的学者，在《Nature》正刊发表了一篇封面论文，专门研究一个整个 AI 行业都在担心的隐患：当互联网上到处都是 AI 生成的内容，下一代大模型开始“吃”上一代 AI 吐出来的数据时，会发生什么。 研究团队把这种现象命名为“模型崩溃”（Model Collapse）。用大白话来说，这就像拿复印件去复印，再拿新的复印件继续印，印不了几次，纸上就只剩下一团黑影。 他们在多个主流架构的模型上做了实验，其中最典型的是对语言模型 OPT-125m 进行代际微调。第 0 代模型用真实的人类维基百科数据训练，给定一段关于“中世纪建筑”的开头，它能顺畅地续写出历史背景和设计细节；接着，研究团队把第 0 代生成出来的文本直接拿去训练第 1 代，再用第 1 代的产出训练第 2 代。 到了第 4 代，模型表面上看着还算通顺，但已经开始悄悄丢失低频细节；而到了第 9 代，面对同样一段“中世纪建筑”的提示词，模型输出的内容已经变成了毫无逻辑的乱码，甚至开始疯狂重复长串关于“黑尾、白尾、蓝尾野兔（jackrabbits）”的胡话。 【为什么模型会越训越傻】 论文从数学和统计学上证明，这种崩溃不是偶发 Bug，而是概率分布尾部信息不断丢失的必然结果。 真实的人类世界包含大量生僻词、冷门知识和不常见的长尾表达。但大模型在生成内容时，天然倾向于挑选概率最高、最四平八稳的词。当每次抽样都是有限的，那些出现概率低的“长尾内容”最容易在第一轮生成时被漏掉；下一代模型没见过这些罕见情况，它的世界观就会进一步缩水。 论文里写道：“无差别地使用模型生成的内容进行训练，会导致结果模型出现不可逆的缺陷，原始数据分布的尾部会彻底消失。”一代代叠加下来，原本丰富多元的概率分布会不断向中心坍缩，最终退化成一个只会机械重复高频词的窄点。 【对大模型行业的真实冲击】 这篇论文之所以在 AI 圈引起震动，是因为它直接刺破了“靠合成数据就能无限扩充训练集”的乐观预期。 有两个现实层面的影响正在显现： • 不能用合成数据“替换”人类数据：后续对比研究（包括斯坦福等团队的跟进）进一步厘清了一个边界——如果每一代训练都用新的 AI 数据直接替换掉旧数据，模型必崩无疑；想要避免崩溃，必须在每一轮训练中始终保留最初那批干净的原始人类数据作为锚点，或者引入严格的外部校验过滤。 • 2022 年以前的“野生人类互联网”成了不可再生资源：如今全网的博客、论坛和社交媒体已经被大模型生成的内容严重稀释，后来者再去全网爬虫，捞上来的全是混杂了 AI 产出的“工业废水”。谁手里攒着未经污染的真实人类交互数据，谁就握着下一代模型的硬通货。