もりし retweeted
Can one improvement help a model discover the next?
If a model becomes better at finding useful edits, it could help produce its next improvement. That’s the recursive self-improvement loop I want to test, starting from the Weight-Space Programming work by @rikiyatakehi and colleagues.
Astra rewrote parts of two Qwen3.5-0.8B weight matrices without gradient-based training. The authors reported MATH-500 accuracy rising from 7.9% to 48.1%.
My analysis connects three pieces around that edit: the steering rule it stores, the corrections shared weights can express, and the output changes Fisher geometry predicts locally. The aim is to turn an impressive repair into something we can reconstruct, measure and build on.
At a linear projection, the idealized rank-one edit follows a familiar identity:
ΔW = d kᵀ ⇒ Δh(x) = d [kᵀa(x)]
Read a scalar from the current activations, use it to scale a direction, and apply the correction. The weights stay fixed during inference; the push changes with the state. We reconstructed the saved edit as an activation intervention and confirmed numerical agreement in FP32 on 40 fixed prefixes.
Fisher geometry gives a local measure of how much the output distribution changes:
KL(pₕ ‖ pₕ₊ᵤ) ≈ ½ uᵀFₕu
Here, pₕ is the next-token distribution at a fixed prefix, u is a small activation change, and Fₕ is the Fisher metric with respect to h. Along the tested edit direction, measurements on 32 evaluation prefixes supported the prediction at small strengths, but it lost accuracy at the original strength.
For an engineer, this suggests a workflow: try a correction with an activation hook, check whether shared weights can express it across inputs, then evaluate generation on held-out tasks. The same design questions apply across models, even when useful directions and gates differ.
The next question is whether an edited model becomes a better editor. Compare it with its unedited version on the same frozen targets, with the same tools, evidence and budget. Then test successive rounds against a fixed editor with the same accumulated history and total budget, using independent evaluations.
The reconstruction and local measurements are completed work. Choosing better edits with geometry—and testing whether one improvement helps produce another—is the research plan.
The attached Kabuki watercolor offers the intuition: change the current, or push the boat. The article takes that picture inside the model, then asks how a useful correction could help improve the process that finds the next one.
hayashiyus.github.io/blog/we…
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math.
rikiyat.github.io/blog/weight-sp…
github.com/RikiyaT/lm_und…
huggingface.co/Qwen/Qwen3.5-0…
huggingface.co/RikiyaT/Qwen3.…
もりし retweeted
来週の月曜日 (2026-10-05) に神田明神 (?!) でおこなわれる研究会にて、「言語モデルの内部表現には何が転写されているのか」というトークをします。まだ参加申し込み可能なようです。
10月5日に研究集会「AIとメタ認知」を開催します。人工知能の認識能力について、哲学者とAI研究者の両側面から研究成果を報告していただきます。
sites.google.com/view/ai-met…
もりし retweeted
Simulacra Inc.は、個人の心理・行動を再現する「人間デジタルツイン」を開発し、それらを相互作用させて社会を再現する「社会デジタルツイン」を開発するスタートアップです。人と社会のシミュレーションで意思決定を支援します。 📷 simulacra.co.jp
もりし retweeted
東京大学工学研究科を修了し、博士(工学)・専攻長賞をいただきました!お世話になった皆様に感謝申し上げます。4月からは東大に籍を置きつつ、AIによる「人と社会のデジタルツイン」を目指すスタートアップ"Simulacra"をさらに加速させます。CEOと研究員の二足の草鞋で頑張ります!
もりし retweeted
#NLP2026 招待論文 2講演目
大規模言語モデルに推論を教えるための人工論理推論コーパスを用いたアプローチ
○森下 皓文,森尾 学,山口 篤季,十河 泰弘
Vol.32 No.2, pp.520-571
jstage.jst.go.jp/article/jnl…
もりし retweeted
2026-03-20(金・祝)、国語研 @ 立川にて、「記号主義的な言語観 × 言語モデルというコネクショニズムの(ひとつの)成功」をテーマに研究会を開催します。
ご興味のあるかたはぜひ遊びにいらしてください。参加申込は3月13日までです。
www2.ninjal.ac.jp/alsc/event…
次世代言語科学研究センター第2回研究会「次世代の言語理論を考える」
【日時】2026年3月20日(金・祝)13:00~17:00
【会場】国立国語研究所、Web開催
ninjal.ac.jp/events_jp/20260…
もりし retweeted
拙著「ことばの意味を計算するしくみ」が幸運に恵まれ2026年ITエンジニア大賞技術書部門大賞を受賞しました!応援して下さった皆様ありがとうございます!どの本も面白く刺激になりました😊なお今年の大賞受賞者は来年のITエンジニア大賞の特別審査員として参加するそうです😇codezine.jp/news/detail/2315…
もりし retweeted
📢 GPT-OSS Swallow と Qwen3 Swallow をリリースしました。
継続事前学習+SFT+強化学習を全面刷新し、
日本語性能と推論能力を両立させたオープンなLLMを、
Apache 2.0ライセンスで利用できます。
Qwen3 Swallow: swallow-llm.github.io/qwen3-…
GPT-OSS Swallow: swallow-llm.github.io/gptoss…
もりし retweeted
s.u-tokyo.ac.jp/ja/press/109… 東大からプレスリリースをさせていただきました。BBC, NBC, Guardian, Newsweek 含め、altmetric のよると世界中の40以上のメディアに取り上げられたようですが、日本のメディアからは華麗にスルーされたので今日はふて寝します
もりし retweeted
なんと,佐藤文隆さんが亡くなられたとのこと.
学部生の僕を力学でガツンとやってくれた方.
対談の書き起こしがもうすぐ出るとこやった.
ご冥福を祈ります.
ja.wikipedia.org/wiki/%E4%BD…
もりし retweeted
事後学習済みLLM向け評価フレームワーク swallow-evaluation-instruct を開発し、MIT Licenseで公開しました。日本語と英語の高難易度ベンチマークに対応しており、統一された条件のもとで最先端LLMの性能を適切に測定できる新しい評価基盤です。
GitHub: github.com/swallow-llm/swall…
もりし retweeted
Llama 3.1 Swallow 8B v0.5を公開しました。Llama 3.3 Swallow 70BやGemma-2-Llama Swallowのレシピをさらに改良し、性能を向上させました。学習環境としてAWSのSageMaker HyperPod (H200) を利用しました。人気の8Bモデルの改良版を是非お試しください。 swallow-llm.github.io/llama3…
もりし retweeted
ありがとうございます!まずFLDの設計が美しくて好きなのですが、FLDx2の論文で報告された汎化性能が衝撃的で研究アイデアがいくつも浮かんできました。個人的にトップクラスに好きな論文です。是非みなさんも読んでください。
FLDx2: arxiv.org/abs/2411.12498
FLD: arxiv.org/abs/2308.07336
マイ論理推論データセット(FLD)を使ってくれていて嬉しいー。
12月に #NLPコロキウム の1on1でお話しされていた内容が、たった5ヶ月でこのクオリティに仕上がっていて、とても速い!
さらに、手法が面白い・時流に乗っている・英語が読みやすい、と何でも揃っている。
...むしろ何かズルいまであるー💢
もりし retweeted
Gemma-2-Llama Swallow 2B, 9B, 27Bを公開しました。各規模において、日本語の理解・生成・対話でトップクラスの性能ですので、ぜひご活用頂ければと思います。なお、モデル学習の計算資源として、GoogleからTPU Research Cloud (TRC) のご支援を受けました。 swallow-llm.github.io/gemma2…
もりし retweeted
Overleaf's server after processing 30K NeurIPS papers + 11K ICCV rebuttals at the same time:
もりし retweeted
It seems like @overleaf saw the @NeurIPSConf deadline coming and just gave up.
もりし retweeted
SB Intuitionsから新しいモデルが出ました!
#NLP2025 にもエンジニア、リサーチャーがたくさん参加しますし、今回のモデルの開発に携わってるメンバーも多く参加します!
このLLM以外にも画像音声安全性など、いろいろやってるので、気になる人はぜひお声がけください〜


























