K. Akimoto (@kosuke1701) profile picture

NLP researcher (question answering, information extraction)

Japan
Joined April 2018
Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)Photo by K. Akimoto (@kosuke1701)
We just posted our paper: “M^3 Scaling Law: Optimizing Multi-Epoch, Multi-Lingual, and Multi-Stage Training for Low-Resource Language Models.” Joint work with @kanaheinousagi and @stillpedant. In this thread, I’ll explain the main idea and key findings. (1/N)
1
6
1
18
6,671
グヤーシュ、レシピを調整しながらv3まで作った。始めて現地っぽい味の片りんが出てきている。でもまだまだだなぁ…
1
2
130
K. Akimoto retweeted
EACL 2027 Findingsに採択されました! 広範な文書種別・リアルな質問での評価を追求した、日本語視覚文書理解ベンチマーク(Omni-JDocVQA)に関する研究です。
1
4
1
55
4,190
RP 事前学習の改善がデータの改善によるというのはその通りだけど、品質という1軸ではなく時間経過による経験の蓄積というもう一つの軸があるよな モデルがタスクを解いた経験データが事前学習に入って学ばれる。 今までは人類と論文・技術文章が担っていた部分がモデルとドラジェクトリになり加速する
1
181
ソブリンとか国産とか言うときには、単にネットに落ちてるデータの高品質化パイプラインを鍛えるだけではなくて(その一部という捉え方もあるかもだが)、モデルを作ってタスクを解かせてそのデータをまた事前学習に取り込んで、のループを自前でやる能力も今後大事になるのではないか。llm jpに期待
90
K. Akimoto retweeted
Pretraining progress seems to be coming mostly from data improvements. @who_is_jerbear and I pretrained combinations of year-representative open model recipes and data corpuses across 2019 to 2025 at various small scales. Data improvements contributed 3.24x as many compute multipliers as model improvements did (12.0x vs 3.7x). And the gains stack independently - a better dataset helps every architecture about equally, and vice versa. Here are full results, plus what we think this means for the future of AI progress: dwarkesh.com/p/pretraining-p…
52
131
57
1,777
368,041
ハンガリー料理ロスを癒すために勇み立ってグヤーシュ作ってるけど、鍋の容量見積もりをミスって吹きこぼれの危機を迎えている。
1
10
384
完成した。うーん、味の方向性自体は近いんだけど、なんか微妙にパンチが足りないな…
1
62
1時間半追加で煮込んだら、旨味がグッと出てめちゃくちゃ美味しくなった
25
ハンガリー出発でヘルシンキ経由の東京行き、なんか南回りだからもう一回ハンガリーの上を通る模様…。ヘルシンキでお土産買ってサーモンスープ飲みに寄ったようなものだ。
1
198
帰国前からグヤーシュの禁断症状が出ている
2
107
I will present my research about scaling law analysis for multi-epoch, multi-lingual, and multi-stage training at poster session F (Hall H, 9:00-10:30) at #EMNLP2026 !! Feel free to stop by and chat. I'd love to hear your thoughts!
5
15
1,220
たぶん出張中でハンガリーにいるくせに日本居住にしてるのが嘘入力と判断される原因になっているのだろうな。帰るまで下手に触らないほうが良さそうだ。
2
190
昨日作ったlinkedin、まず昨日ロックされてパスポート認証で解除されたと思ったら、今日またブロックされた。linkedinはやるなという天の声か…?
1
208
うーん、これは開催地トップティアカンファレンスと言わざるを得ない。
1
1
30
1,783
会場のコーヒーとフロア間移動方法の量が圧倒的に不足している
131
EMNLP 会場に向けて降りるべき駅を間違えて20分朝のウォーキングする羽目になった
6
238
ぐっすり寝た感覚がある割に目覚めた時間早いなと思ったら、どうも夏時間が終わって時計が1時間巻き戻された説?
128
丸一日かけてブタペスト到着!
8
278
K. Akimoto retweeted
🎉 Excited to share that our paper, conducted during my research internship at NEC, was selected as a Best Paper Candidate at #MIPR2026! The paper is now available on IEEE Xplore: ieeexplore.ieee.org/document… Huge thanks to my mentors and collaborators at NEC🙏
2
5
43
2,262