もりし (@MorishTr) header
もりし (@MorishTr) profile picture

某日系メーカーの研究者。 主に自然言語処理、 たまに機械学習、 しばしば AI x 経済学 の研究をします。 大学では素粒子物理学をやってました。 仲良くしてねー!!

国立音ノ木坂学院
Joined April 2023
Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)Photo by もりし (@MorishTr)
Can one improvement help a model discover the next? If a model becomes better at finding useful edits, it could help produce its next improvement. That’s the recursive self-improvement loop I want to test, starting from the Weight-Space Programming work by @rikiyatakehi and colleagues. Astra rewrote parts of two Qwen3.5-0.8B weight matrices without gradient-based training. The authors reported MATH-500 accuracy rising from 7.9% to 48.1%. My analysis connects three pieces around that edit: the steering rule it stores, the corrections shared weights can express, and the output changes Fisher geometry predicts locally. The aim is to turn an impressive repair into something we can reconstruct, measure and build on. At a linear projection, the idealized rank-one edit follows a familiar identity: ΔW = d kᵀ ⇒ Δh(x) = d [kᵀa(x)] Read a scalar from the current activations, use it to scale a direction, and apply the correction. The weights stay fixed during inference; the push changes with the state. We reconstructed the saved edit as an activation intervention and confirmed numerical agreement in FP32 on 40 fixed prefixes. Fisher geometry gives a local measure of how much the output distribution changes: KL(pₕ ‖ pₕ₊ᵤ) ≈ ½ uᵀFₕu Here, pₕ is the next-token distribution at a fixed prefix, u is a small activation change, and Fₕ is the Fisher metric with respect to h. Along the tested edit direction, measurements on 32 evaluation prefixes supported the prediction at small strengths, but it lost accuracy at the original strength. For an engineer, this suggests a workflow: try a correction with an activation hook, check whether shared weights can express it across inputs, then evaluate generation on held-out tasks. The same design questions apply across models, even when useful directions and gates differ. The next question is whether an edited model becomes a better editor. Compare it with its unedited version on the same frozen targets, with the same tools, evidence and budget. Then test successive rounds against a fixed editor with the same accumulated history and total budget, using independent evaluations. The reconstruction and local measurements are completed work. Choosing better edits with geometry—and testing whether one improvement helps produce another—is the research plan. The attached Kabuki watercolor offers the intuition: change the current, or push the boat. The article takes that picture inside the model, then asks how a useful correction could help improve the process that finds the next one. hayashiyus.github.io/blog/we…
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math. rikiyat.github.io/blog/weight-sp… github.com/RikiyaT/lm_und… huggingface.co/Qwen/Qwen3.5-0… huggingface.co/RikiyaT/Qwen3.…
3
25
4
79
20,093
もりし retweeted
来週の月曜日 (2026-10-05) に神田明神 (?!) でおこなわれる研究会にて、「言語モデルの内部表現には何が転写されているのか」というトークをします。まだ参加申し込み可能なようです。
1
6
3
49
11,746
もりし retweeted
Simulacra Inc.は、個人の心理・行動を再現する「人間デジタルツイン」を開発し、それらを相互作用させて社会を再現する「社会デジタルツイン」を開発するスタートアップです。人と社会のシミュレーションで意思決定を支援します。 📷 simulacra.co.jp
7
2
28
3,801
もりし retweeted
東京大学工学研究科を修了し、博士(工学)・専攻長賞をいただきました!お世話になった皆様に感謝申し上げます。4月からは東大に籍を置きつつ、AIによる「人と社会のデジタルツイン」を目指すスタートアップ"Simulacra"をさらに加速させます。CEOと研究員の二足の草鞋で頑張ります!
13
13
7
246
23,135
#NLP2026 の非公式懇親会チャンネル(デフォルトではjoinになってません)で案内中です。お気軽にご参加くださいな。運営を手伝ってる僕も、参加表明されてる方の半分くらいは知らない人で、知り合いが増えるのを楽しみにしてます。
今年はNLP2026の初日(3/9(月))19:45~宇都宮駅近くのビストロ料理のお店で貸切で非公式懇親会を開催します! 参加者用slackがオープンしたらそこで参加者を募集します☺ お気軽にご参加ください✨ #NLP2026
5
11
6,010
もりし retweeted
明日の非公式懇親会をslackで募集中です! お気軽にご参加ください🥂 #NLP2026
今年はNLP2026の初日(3/9(月))19:45~宇都宮駅近くのビストロ料理のお店で貸切で非公式懇親会を開催します! 参加者用slackがオープンしたらそこで参加者を募集します☺ お気軽にご参加ください✨ #NLP2026
2
9
3,041
もりし retweeted
2026-03-20(金・祝)、国語研 @ 立川にて、「記号主義的な言語観 × 言語モデルというコネクショニズムの(ひとつの)成功」をテーマに研究会を開催します。 ご興味のあるかたはぜひ遊びにいらしてください。参加申込は3月13日までです。 www2.ninjal.ac.jp/alsc/event…
1
30
2
71
21,717
拙著「ことばの意味を計算するしくみ」が幸運に恵まれ2026年ITエンジニア大賞技術書部門大賞を受賞しました!応援して下さった皆様ありがとうございます!どの本も面白く刺激になりました😊なお今年の大賞受賞者は来年のITエンジニア大賞の特別審査員として参加するそうです😇codezine.jp/news/detail/2315…
2
19
1
97
6,249
📢 GPT-OSS Swallow と Qwen3 Swallow をリリースしました。 継続事前学習+SFT+強化学習を全面刷新し、 日本語性能と推論能力を両立させたオープンなLLMを、 Apache 2.0ライセンスで利用できます。 Qwen3 Swallow: swallow-llm.github.io/qwen3-… GPT-OSS Swallow: swallow-llm.github.io/gptoss…
13
337
51
1,243
240,606
s.u-tokyo.ac.jp/ja/press/109… 東大からプレスリリースをさせていただきました。BBC, NBC, Guardian, Newsweek 含め、altmetric のよると世界中の40以上のメディアに取り上げられたようですが、日本のメディアからは華麗にスルーされたので今日はふて寝します
225
17,514
2,498
48,830
12,026,698
なんと,佐藤文隆さんが亡くなられたとのこと. 学部生の僕を力学でガツンとやってくれた方. 対談の書き起こしがもうすぐ出るとこやった. ご冥福を祈ります. ja.wikipedia.org/wiki/%E4%BD…
1
118
10
325
68,537
事後学習済みLLM向け評価フレームワーク swallow-evaluation-instruct を開発し、MIT Licenseで公開しました。日本語と英語の高難易度ベンチマークに対応しており、統一された条件のもとで最先端LLMの性能を適切に測定できる新しい評価基盤です。 GitHub: github.com/swallow-llm/swall…
1
49
2
169
26,006
Llama 3.1 Swallow 8B v0.5を公開しました。Llama 3.3 Swallow 70BやGemma-2-Llama Swallowのレシピをさらに改良し、性能を向上させました。学習環境としてAWSのSageMaker HyperPod (H200) を利用しました。人気の8Bモデルの改良版を是非お試しください。 swallow-llm.github.io/llama3…
2
39
3
95
30,905
ありがとうございます!まずFLDの設計が美しくて好きなのですが、FLDx2の論文で報告された汎化性能が衝撃的で研究アイデアがいくつも浮かんできました。個人的にトップクラスに好きな論文です。是非みなさんも読んでください。 FLDx2: arxiv.org/abs/2411.12498 FLD: arxiv.org/abs/2308.07336
マイ論理推論データセット(FLD)を使ってくれていて嬉しいー。 12月に #NLPコロキウム の1on1でお話しされていた内容が、たった5ヶ月でこのクオリティに仕上がっていて、とても速い! さらに、手法が面白い・時流に乗っている・英語が読みやすい、と何でも揃っている。 ...むしろ何かズルいまであるー💢
1
5
17
6,237
Gemma-2-Llama Swallow 2B, 9B, 27Bを公開しました。各規模において、日本語の理解・生成・対話でトップクラスの性能ですので、ぜひご活用頂ければと思います。なお、モデル学習の計算資源として、GoogleからTPU Research Cloud (TRC) のご支援を受けました。 swallow-llm.github.io/gemma2…
1
96
9
331
52,804
もりし retweeted
Overleaf's server after processing 30K NeurIPS papers + 11K ICCV rebuttals at the same time:
3
24
2
291
31,148
It seems like @overleaf saw the @NeurIPSConf deadline coming and just gave up.
10
1
125
21,397
SB Intuitionsから新しいモデルが出ました! #NLP2025 にもエンジニア、リサーチャーがたくさん参加しますし、今回のモデルの開発に携わってるメンバーも多く参加します! このLLM以外にも画像音声安全性など、いろいろやってるので、気になる人はぜひお声がけください〜
📢0.5B, 1B, 3Bパラメータの事前学習モデル、Instructモデルを公開 事前学習モデルは小規模ながら高性能で、特に数学・コーディングの性能が向上 Instructモデルは同サイズ帯のモデルの中において日本語最高水準のベンチマークスコアを達成 今後も大規模言語モデルの開発に努めてまいります 詳細は⬇️
1
4
41
8,679
1
304
37
1,979
154,436