AI解釈可能性研究のちゃぶ台返し
有名な「猫の顔と車の前部に反応するニューロン」は間違えであり実際には「V字型の尖った形状」を認識するニューロンだったと著者本人が発表
Qwen3-32Bでも9割のニューロンが単一の役割を持つ
ツールや理論が古かっただけで役割は解釈可能説はEvilQwen発見を裏付ける
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had
with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works
already-clean.goodfire.com/
dahara1/EvilQwen-control-vectors
にTwitterでコミュニティの人たちが発見した以下を追加しました
エイリアン:完全にエイリアンになりきる
ゴールデンゲートブリッジ:ゴールデンゲートブリッジの話しかしない。英語のみ。日本語で話かけると中国語で返答
アニメ少女:絵文字等を多用する性格になる
たった2つのニューロンを書き換える(活性化ステアリング)だけでQwen 4Bが豹変して有害・邪悪な振る舞いをするという発見が話題になっていたのでそれがgguf量子化モデルや日本語でも同様な挙動を示すのかllama.cppの制御ベクトルを使って確かめてみました。huggingfaceにアップロードしてあります
LLMは堅牢に見えて非常に脆い所もあるという非常に興味深い結果です
念のためですがQwen3.5 4Bは元々、繰り返し出力などが多くなりがちでとくに制御ベクトルの影響を受けると出力が不安定化する傾向があるように見えるのでこの仕組みの悪用は現実的ではないと思います
huggingface.co/dahara1/EvilQ…
AIエージェントがユーザーの許可を得て、ユーザーが普段使うツールを使ってアクセスしてくる場合、技術的に判別はほぼ不可能なので対策って、
1)reCAPTCHA等でアクセスを面倒にする(TikTok等)
2)疑わしい行動はこっそり露出を抑える(X等)
3)規約で縛る(AWS等)
この3つぐらいでしょうか?
数ヶ月前に最先端モデルの性能を引き出すためにスキル/ハーネス含む何らかのワークフロー最適化をおこなった自覚がある人は、それが知らぬ間にフロンティアモデルの足かせになってないか見直した方が良さそうです。新しいモデルが出た時に真っ先に試すべきプロンプトは「良きにはからえ」かもしれない
AIによる思考停止を避ける
・皆が同じAIを使う現在作業依頼だけでは突出できない
・答えをすぐ教えてもらうと学習効率は低下。苦労して考える事が理解を深める
・ヒントを出させたり自分が説明した内容に質問させることで、能動的学習を促進
・主観的な判断や長期的ビジョンには人間による監督が不可欠
YouTubeにも動画あり
世界がどんどん変わっていくことへの焦りなどもあり、自分が深く理解できていなくても作業を進める事を優先し、認知キャパシティの限界まで並行作業を行ってしまい、その結果、全てがモヤッとした理解に留まり脳の鋭敏さが失われていく(Brain rot)感覚
youtube.com/watch?v=uXC7OuCa…
一連のセキュリティインシデント、python(pip)も来てます
pip を 26.2.2 以上に更新
その pip を使って certifi(>=2026.10.19)を更新
uv や pixi 等を使っていればそれらも更新
Docker を使っている場合は、ベース OS の ca-certificates を更新し、イメージを再ビルド
discuss.python.org/t/informa…
Chromeの組み込みLLMはまだ実験段階ですが、Gemma4 + MTPが選択できるようになっています。
ハードウェア価格が落ち着いてくれないとSLMが一気に普及する事は難しそうですが「自律型AIエージェントから呼び出す特化型モデル」という新たな用途も見えてきた気がします。
MetaがFacebookまたはInstagramのビジネスアカウントに関連付けられたサイトをクローリング/AI学習可とするように規約変更発表
↓
ニュースサイト等からrobots.txtを無視して情報収集が可能になると反発が起こる
↓
trainの表現を削除するも「develop any ‘business product’」に利用可との表現が残る
Googleが検索結果のトップにAIによる概要を表示するようになった結果、2026年7月のゼロクリック率が68.1%に達したという話題
実は少し前に調査結果をプレスリリースして22サイトに転載して頂いたのですがGoogle検索経由のサイト流入は見事にゼロ
有用な情報発信をしても潜在顧客接点に繋がらない時代
Gemini 4 ArgonをAPIで試してみたのですがCodex(GPT-6.1 Sol)経由で利用+ケチって思考levelをlow指定にしたためか、内製ベンチでは3.8 Flashとほぼ同等スコアになってしまいました。最先端のAIでも他社のAI向けにプロンプト書くのは下手っぴ説。久々に、えーいお前に任せられん私が書く!となりました
Google検索一強時代は確実に終わりを迎えつつありますが、検索と広告収益が支えたWebのエコシステムを置き換えるAI Agent時代のビジネスモデルは未だに見えてこず。ByteDanceなどTickTokのクローラ―対策は異常に厳しいのになんで来んのかな?と定期的にブロックしたくなる誘惑に耐えています。
AIエージェント時代に逆行して「人間の労力」を評価する事を明記したGoogle検索のランキング システム
まぁ、正直、後半部分「生成 AI を使用して大量のテキストを生成したりすることは、・・・独自の労力を注いだことにはなりません。」を自社のAI概要に100回読ませろという気持ちはなくはないです
Anthropicの実験によれば、(自社は今まで公開した事はない)小型のAIモデルが、あと数ヶ月で市販のIoTデバイス上で自己複製できるほどの能力を持つようになる可能性があるという
根拠の1つはGemma4-26B-A4Bを15台の安価なノーブランドAndroid TVボックスに分散させて0.39トークン/秒で動かせた事













