mtm (@__mtm) profile picture

メーカーでコード書いてます。 好きなもの:コーディング、植物栽培、カメラ、回路設計、UKロック、ラーメン、麻雀、犬猫

江戸川
Joined September 2009
Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)Photo by mtm (@__mtm)
youtu.be/sWcTcyCgSbY レギュレーション違反ファミコンカセットの技術解説動画を作りました! (さっさとこういう動画を作っておけば、托卵カセットとか言われなくて済んだんですがw)
3
92
8
272
13,135
夢があるなぁ
今やらせてる拡張の様子見です
3
22
1
114
3,697
mtm retweeted
テクノじゃん
2
10
38
1,346
mtm retweeted
Highly recommended paper from NVIDIA. (bookmark it) There is a lot of debate about whether to use context compaction aggressively. They show that with frequent compaction, frontier language models lose little to no accuracy on a broad range of long-horizon and long-input tasks while keeping their context short. With one action per context, Claude Opus 4.5 scores 70.2 on SWE-bench Verified against 70.0 with the full history. Median peak context drops from 32K to 8K tokens. The agent carries a short summary of its state between steps instead of the whole transcript. Simple compaction at the end of a conversation often does better than the full history, and Opus goes from 70.0 to 74.8 with it. This also matters for cost. Later tokens cost more to generate than earlier ones, up to 7x on frontier open-weight models. The pattern holds on Terminal-Bench, FRAMES, BFCLv3 and multilingual SWE-bench, with modest losses in some settings. Before paying for million-token agent runs, it's worth testing aggressive compaction on your own tasks. arxiv.org/abs/2611.05306 Chat with Paper: academy.dair.ai/papers/you-d…
200
196
29
1,508
84,993
面白い!!!30年前のPCで動かした現代将棋AIがどのくらいのレーティングを出せるかも試してほしいです!!!
現代のチェスAIを動かす30年前のPCと昔のチェスAIを動かす現代PCが対決、100局の勝敗は?
1
8
1
49
4,977
*sshole脆弱性。これはひどい。歴史的経緯も酷い。 sshhole.com/
2
146
15
502
86,668
mtm retweeted
weight-space-programmingが話題なので、Qwen3-0.6Bの語尾を全部「にゃん」にできるか実験をしてみた 追加学習やPromptでの語尾指定はせず、Astraで重み約0.59%を変更 あらかじめ作っておいた評価質問8問中4問通過 Fine-Tuningの方が確実そうだけど、数字が変わったり、「猫ゃん。」みたいに違うところに「にゃん」が波及していて面白かった
2
28
4
182
13,357
mtm retweeted
ソニーNEWSのハードウェア設計を担った堀昌夫さんにインタビューしました。SunへのOEM打診や、スティーブ・ジョブズにまつわるお話もお楽しみください! retropcnews.com/archives/106…
6
185
17
423
28,183
MITのRikiyaTakehi氏らによるヤバ研究。Qwen3.5-0.8Bに数学問題を解かせると同じ思考を延々とループして一向に答えが出ないバグ的な挙動があった。そこで研究者はAstraに「Qwenを修正してくれない?」って丸投げしてみた。するとAstraはウエイトの中身を見ながら「あー、多分この辺が故障してますね~」つって微調整とか学習とかじゃなくて生のウエイトを直接弄りだした!Astraがアタリをつけてウエイト操作を試行錯誤した結果、Qwenの思考ループが修正されてMATH-500スコアは7.9→48.1に6倍に爆上がり!IFEvalも21→62.3に!研究者は「え…?Astraってウエイトの中身理解できるの!?」と驚愕してさらなる実験を試みる。Astraにゲームプレイを学習させたモデルをいくつか見せたら「これはブロック崩しをプレイするモデルでしょ。これはPong、これはパックマン…」と全部言い当てた!やはりモデルの中身が読めている!次はジャンプ台を乗り越えるのに失敗しちゃう車のモデルを渡したらこれも見事に修正してくれた!その次はブロック崩しのソースコードを渡したらなんとそれをプレイするAIモデルを直接出してくれた!!この結果から、やはりAstraレベルの最先端フロンティアモデルはAIモデルの中身のウエイトを読んで理解する能力があるらしいと分かった!今まで人間はモデルウエイトの中身サーパリ理解できなくて「AIの中身はブラックボックス!」とか言ってたのにいつの間にかAIはAIの中身読めるようになってた!あまつさえウエイトを直接編集、修正、生成する事さえできる!!研究者はこれはWeight-Space Programmingと名付けた
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math. rikiyat.github.io/blog/weight-sp… github.com/RikiyaT/lm_und… huggingface.co/Qwen/Qwen3.5-0… huggingface.co/RikiyaT/Qwen3.…
10
1,076
259
4,950
462,382
何かに使えたら面白そうだなと思ってエンジン音シミュレーターを作るなどした 細かい排気構成を設定して色んなマフラー音が作れます。 録音音源は全く使わずにエンジンの熱力学から管路音響などを毎サンプル計算した合成音。 レースゲームに応用したらパーツ構成で音をシミュレートできたりしそう。
5
222
16
1,021
96,686
1/4 Meet Qwenputer: Qwen3.5-4B with a full RISC-V CPU inside its weights, using the model's own Gated DeltaNet layers as RAM. It runs C and MicroPython in its forward passes, no external runtime. On DeepMind math: base 55–90%, base + Python tool 95–100%, Qwenputer 97.5–100%.
305
755
354
6,117
897,668
情報系、子供の頃からコード書いてた人より、大学で計算機に出会った、みたいな人の方が最終的に凄いとこまで行く印象はある。 僕らはどうしても懐古趣味に足を引っ張られ、自ら専門の領域を狭めてしまう。例えば僕はDNNが面白いから突き詰めたい、とはなかなか思えなかったし、統計も強くはない。
9
34
1,668
mtm retweeted
Will never cease to be surprised at Sega's bodges in production consoles...
93
247
39
3,551
319,229
低レイヤーソフト開発者なので、ファンアウトとか気にしないけど、電源電圧とかクロックとかは当然考えるし、なんなら演算ごとのスイッチング回数とかを妄想しながらコード書くことはある
1
2
1
14
1,822
mtm retweeted
え!シャープネルさん!?
DJ SHARPNEL is hugely popular both in Japan and overseas and has been supporting the J-CORE scene since its early days. But here’s something you might not know: he’s also a serious security engineer! He’s even appeared at a seminar hosted by Japan’s Ministry of Internal Affairs and Communications as his VRDJ avatar, giving a talk on internet live entertainment, the metaverse, and digital lifestyles. So he’s an incredible figure not only in the J-CORE world, but in the “real world” too. And apparently, amid all the PHP chaos since yesterday, he even appeared on Japanese TV! Massive respect! 🙌🔥 For more on his metaverse activities: note.com/djsharpnel/n/n94eaa…
1
6
920
mtm retweeted
ソニーNEWSの中核であるNEWS-OSを開発した手塚宏史さんにインタビューいたしました!4.2BSDの移植からチューニングまで技術色の濃い内容です。どうぞお楽しみください。 retropcnews.com/archives/101…
16
351
42
699
45,426
My #NeoGeo port of Cho Ren Sha 68k. Recorded from my MVS board. Goes through power up, eye catcher, title screen and gameplay. I've massively optimized the x68000 original to run fantastically on the Neo Geo.
39
95
9
433
21,204
mtm retweeted
DeepSeek、まじで全てを曝け出すんじゃないか? ってくらい何でも公開してくれるな.... 推論フレームワークまで公開しちゃって... SM100、Huawei Ascend 950 向けだから全GPUに最適なわけではないけど、これで誰でも(金さえあれば)高効率DeepSeekホストか.... 日本でもさくらインターネットがDeepSeek v4.1 Flashホストするって話もあったし、使わせてもらえるんじゃないか? もしかしたら国内ホストのDeepSeekも増えるかも!?
🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency. We’re sharing our production stack to help the community lower compute costs, reduce energy use, and make AI more affordable. 🔗 github.com/deepseek-ai/DeepI… 1/4
19
85
8
960
224,264
【 Angio 開発画面 】 ~ Strataのボトルネック可視化ツール~ Strata GLM 調整の時、遅い個所の把握が大変でした💦 なので血管造影(Angio)みたいに、流れ道の「つまり」を見るアプリ作ってます‼ ・ボトルネックの場所が分かる ・直す価値があるかどうかがわかる 近日中にリリース予定です🌟
【 無検閲GLMをRTXで高速化 -Part② 】 ~Prefill 580 t/s 14倍 Decode 32 t/s 3.5倍~ GLM5.3-Flash(157GB)はStrata未対応。 なのでWindows環境でStrataを改造・高速化しました🌱 ■ 構成 ・RTX 5090(32GB)+DDR5(128GB)+NVMe SSD ・Huihui-GLM-5.3-Flash-abliterated-UD-IQ4_XS(157GB)CTX 262K ■ Prefill(4,400トークン) ・llama.cpp:42.3 t/s  ・Strata GLM:580 t/s  約14倍の高速化 ■ Decode ・llama.cpp:9.4 t/s  ・Strata GLM:32.64 t/s   約3.5倍の高速化 ■ 157GBのモデルをどう配置している? 【VRAM:32GB】 ・Attentionなど:13.5GB ・よく使う専門家:15.5GB 【RAM:128GB】 ・専門家の重み:105GBを固定配置 【NVMe SSD】 ・残りの専門家:約23GB(約14%) 必要になったときだけ直接読み込みで使用頻度に応じて配置を工夫。 ■ Prefillで効いた改造TOP3 ① MoE専門家の計算をTensor Core対応(MMQ)に変更 → 250% UP ② 共有専門家・Dense層もMMQ化し、ルーター処理をcuBLASに集約 →46% UP ③ SSD先読み・索引の一括処理・AttentionのTensor Core化など →26% UP ■ Decodeで効いた改造TOP3 ① 経路の重みが10%未満の専門家をスキップ → 30% UP ② SSD読み込みと計算を並行処理 → 9% UP ③ CPU側の専門家計算にVNNI命令を活用 → 6%UP 今回の高速化は、GLM非対応のStrataを改造して、157GBのモデル・Windowsの条件で最適化したものです。 成功部分も失敗部分も全部こめて、改造したコードはGitHubで公開しました。 測定は5090ですが3060単独動作も確認してあるので、よかったら試してみてください👇
13
59
23
489
43,332
多分誰もどういう仕組みかわからないと思うけど、今制作中のファミコン弾幕STGは、弾が最大で128個表示されるけど、スプライトがほとんどちらつかないようになっている。
36
440
51
1,802
165,491