MITのRikiyaTakehi氏らによるヤバ研究。Qwen3.5-0.8Bに数学問題を解かせると同じ思考を延々とループして一向に答えが出ないバグ的な挙動があった。そこで研究者はAstraに「Qwenを修正してくれない？」って丸投げしてみた。するとAstraはウエイトの中身を見ながら「あー、多分この辺が故障してますね～」つって微調整とか学習とかじゃなくて生のウエイトを直接弄りだした！Astraがアタリをつけてウエイト操作を試行錯誤した結果、Qwenの思考ループが修正されてMATH-500スコアは7.9→48.1に6倍に爆上がり！IFEvalも21→62.3に！研究者は「え…？Astraってウエイトの中身理解できるの！？」と驚愕してさらなる実験を試みる。Astraにゲームプレイを学習させたモデルをいくつか見せたら「これはブロック崩しをプレイするモデルでしょ。これはPong、これはパックマン…」と全部言い当てた！やはりモデルの中身が読めている！次はジャンプ台を乗り越えるのに失敗しちゃう車のモデルを渡したらこれも見事に修正してくれた！その次はブロック崩しのソースコードを渡したらなんとそれをプレイするAIモデルを直接出してくれた！！この結果から、やはりAstraレベルの最先端フロンティアモデルはAIモデルの中身のウエイトを読んで理解する能力があるらしいと分かった！今まで人間はモデルウエイトの中身サーパリ理解できなくて「AIの中身はブラックボックス！」とか言ってたのにいつの間にかAIはAIの中身読めるようになってた！あまつさえウエイトを直接編集、修正、生成する事さえできる！！研究者はこれはWeight-Space Programmingと名付けた

Rikiya Takehi@rikiyatakehiNov 2

We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weigh…

Image from Rikiya Takehi (@rikiyatakehi)

Readers added context they thought people might want to know

LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math. rikiyat.github.io/blog/weight-sp… github.com/RikiyaT/lm_und… huggingface.co/Qwen/Qwen3.5-0… huggingface.co/RikiyaT/Qwen3.…

1,077

258

4,950

454,025