菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov) header
菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov) profile picture

AIを導入・開発する方へ。攻撃の評価・権限制御・監査ログの設計を日本語で解説。U-Rec代表|AIエージェント・ロボティクスの安全性を研究開発。研究・技術記事を公開中。診断・開発のご相談は公式サイトへ

東京 千代田区
Joined January 2024
Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)Photo by 菅野吉洋|AIセキュリティ・U-Rec代表 (@Yoshi_AI_Gov)
発想の勝利 めちゃくちゃおもろいな
iPadにコントローラーを接続すると、iPadの画面上でミニカーを走らせて遊べるようになっています!なんでも走らせてみてね!
28
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
Nvidia stock fell 12% because of election and another 10% because of erection
1,007
11,470
1,612
131,949
6,990,114
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
勘違いしちゃいけないのは 虚業じゃないから偉い ではなく 外貨を稼ぐから偉い であって、日本が金融とかコンサルでまとまった外貨稼げてたならそっちの方が効率よくて偉い
1
28
9
411
46,491
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
本日11月5日に行われた愛知工業大学 第45回駅伝大会にて、学生が開発したヒューマノイド、鉄人23号が走りました。 順位は26チーム中26位で、途中動かなくなるトラブルもありましたが、全員でゴールテープを切ることができました。 応援くださった皆様、ありがとう御座いました。 #AIT #AIT鉄チャレ
18
304
67
1,801
357,177
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
人間として活動する営みが、AIのスケール感から乖離し始めてて、全然ついていけてない。「楽しい!最高!」なんて言える状況じゃなくなってる。相対的に何もかもが、しょうもなく見えてくる。 お金とか会社とか事業とか社会とか国とかグローバルとか、すべてがしょうもないことのように、思えてくる。
1
8
1,037
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
技術者として絶対ダメな事やってるし、 非常に危険な行為ではある。 が、16歳の少年達が挑戦してるって聞くとやはり今回の間違いを反省して今後も粘り強く挑戦を続けて欲しい気持ちがある。 ちゃんと謝罪すべき場所に謝罪しましょ。 ただ、彼らを徹底的に潰す空気感はちょっと違うんじゃないだろうか。
10年ほど前のニコニコ技術部動画にありがちな感じかな?と思ったけど、動画見たら思った数倍ダメすぎる。 これは関係官庁に使用許可取って、保安措置と立ち入り規制をしないとダメだぞ???? (動画は私が保存したものです)
31
115
87
621
278,544
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
情報漏洩が起きないことを数学的に保証するバックエンドフレームワーク「Nyxis」を公開しました! たぶん世界初です。 Nyxisで書かれたバックエンドは、企業の持つ機密情報をより安全に守ることができます。 昨今急増しているサイバー攻撃を防ぐ手段として、このような方法があることをお伝えしたいと思い、今回の発表に至りました。 開発者は「どの権限を持つユーザーが何を実行可能であるか」のルールを管理するだけで、残りのコードをAIエージェントに任せても認可の安全性が担保されます。 Nyxisは大部分がLean言語で記述されており、形式検証によって 「任意のHTTPリクエスト列に対し、認証された主体の正当な権限を逸脱するデータの読取・変更・削除・権限付与は発生しない」 という認可安全性定理を機械的に証明しています。 認可の不備は、OWASP脆弱性ランキングにおいて2019年版から連続1位であり、最優先で対策すべきリスクの一つです。 形式検証を活用したこのフレームワークは、テストに頼る従来の開発に比べて、格段にセキュアなソフトウェアを実現します。 先日MicrosoftとGitHubが、形式検証を用いた開発キット「PDD Kit」を発表しました。 こちらはより幅広い性質を扱える一方、プログラムごとに仕様を作り、それが意図に合っているかを開発者が確認する必要があります。 Nyxisは証明する定理を認可安全性に絞ってあらかじめ定めているため、開発者はポリシーを管理するだけで済みます。 もちろん、一定の仮定は存在しています。証明外コードと実行環境は信頼する前提であり、開発者がポリシーを誤って書けば、意図した保護は得られません。 この定理の範囲内において、数学的保証は非常に強力です。実システムに組み込める技術としてここまでの保証を与えたものは、私の知る限りまだ存在しません。 一方で、表現力の乏しさやLeanのライブラリ不足など、改善すべき点はまだ山積みです。 本当はもっと完成度が高まった時点で公開しようと考えていましたが、昨今のセキュリティインシデントの状況を鑑みて、このタイミングで発表することにしました。 世界をセキュアにする一助になれば嬉しいです。 github.com/NyxFoundation/nyx…
55
1,113
314
7,199
1,056,057
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
During this red-teaming exercise, we also found a vulnerability that allows for unauthenticated remote code execution in Brotli, a widely-deployed compression library included in many pieces of software such as Node.js, Bun, and Envoy. The flaw could let an attacker run their own code on affected systems by sending or replying with malicious compressed data, without any need to create a user account. That is, an unpatched server that accepts compressed input could be taken over by a malicious client, and an unpatched client that accepts compressed input (such as “curl --compressed”) could be taken over by a malicious server. This root cause issue was actually fixed in the Brotli source code in February, but it wasn’t known at the time that it gave rise to a security vulnerability and there was no more recent release of Brotli. Since Brotli is built into other software, any software which includes this library needs to take the update too, followed by the users of that software. We disclosed the vulnerability to Brotli and other downstream projects such as Node.js, which released or are currently releasing security updates, and Brotli cut new release versions and published a CVE. More details on the patch and mitigations below: patchtheplanet.org/brotli
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications. On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments. While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software. After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely. openai.com/index/securing-ou…
574
1,008
501
7,085
2,236,161
「攻撃が100%成功する」という仮定からは離れるけれど、基盤モデル事業者が金融などの重要インフラを直接運営する未来もあるのでは? 最先端モデルで脆弱性の発見・修正、取引前の検証、攻撃の検知・遮断まで一体で担う。信用が揺らぐほど、それを維持できる事業者に取引が集約する可能性もあると思う
「AIによる100%成功するハッキング」が現実になったとき、何が終わるのか。 多くの人はまず、 銀行が危ない、 暗号資産が危ない、 個人情報が漏れる、 くらいで考える。 でも本質はそこではない。 本当に終わるのは、 「いまの資本主義の前提」 そのものだと思っている。 資本主義は、金があるから回っているのではない。 信用があるから回っている。 そしてその信用は、現代ではほとんどが 「情報として記述された信用」 に依存している。 残高 契約 株主名簿 登記 本人確認 会計帳簿 監査ログ 決済履歴 サプライチェーン情報 権限管理 これらが正しい、という前提で 経済は動いている。 逆に言えば、 これらの真正性が失われた瞬間、 経済は「損をする」のではなく 「計算できなくなる」。 ここが重要。 資本主義は損失には耐えられる。 不況にも暴落にも破綻にも耐えてきた。 でも、 何が本物かわからない状態 には耐えられない。 たとえば銀行で本当に恐ろしいのは、 預金が盗まれることだけではない。 その送金指示は本物か。 承認したのは本人か。 監査ログは正しいか。 バックアップは無傷か。 残高は真正か。 復旧後の状態を誰が正と定義するのか。 これが全部怪しくなったら、 銀行は営業できない。 市場も同じ。 株価は、何の価格なのか。 その株式の所有権は本当にその人のものか。 企業の財務は正しいのか。 受注残は本物か。 監査法人の確認結果は信じられるのか。 全部が揺らぐ。 すると価格形成が壊れる。 価格形成が壊れると、投資が止まる。 投資が止まると、将来価値を現在に変換する仕組みが死ぬ。 それは、資本主義の中枢停止に近い。 つまり、終わるのは単に金融ではない。 終わるのは、 「遠くの他人を、記録だけで信用できる社会」 だと思う。 近代経済の偉大さは、 知らない相手とも取引できることだった。 会ったことのない銀行に預金できる。 行ったことのない国の会社の株を買える。 顔を知らない相手に送金できる。 オンラインだけで契約できる。 これは全部、 制度化された信用 があったから成り立っている。 でも100%侵入されるなら、 その制度化された信用は維持できない。 そうなると経済はどうなるか。 たぶん、 局所化する。 物理化する。 高摩擦になる。 遅くなる。 つまり、 グローバル 匿名 高速 自動 無人 API接続前提 の経済から、 対面 現物 閉域 多重承認 地域共同体 物理的制御権 の経済へ戻っていく。 ここでよくある誤解がある。 「じゃあ資本主義は完全に終わって原始時代に戻るのか?」 そこまではいかない。 ただ、 いまのような “情報の真正性を安く広く前提化できる経済” は終わる。 生き残るのは、 侵入を防げる仕組みではなく、 侵入される前提で成立する仕組み。 ここを間違えるといけない。 防御可能性を前提にした経済から、 侵入可能性を織り込んだ経済へ移る。 たとえば価値が上がるものは何か。 土地。 電力。 食料。 水。 物流拠点。 閉域ネットワーク。 オフラインで確認できる権利。 対面でしか成立しない信用。 複数人立会い。 アナログ台帳。 地域共同体の評判。 実力で秩序を維持する能力。 冷たい言い方をすると、 コードより先に 「人間にルールを飲ませる力」 を持つものが強くなる。 国家 共同体 宗教 地場ネットワーク 物理インフラ保有者 そういうものの価値が相対的に上がる。 なぜなら、最後に効くのは パスワードではなく、 現実の拘束力だから。 哲学的に言えば、 近代は 「記号が現実を代理できる」 という信念の上にあった。 通帳の数字が金を表す。 電子署名が意思を表す。 IDが本人を表す。 台帳が所有を表す。 でも100%ハック可能世界では、 この代理関係が壊れる。 つまり、 記号が現実を代表できなくなる。 だから人間は、 記号から現物へ戻る。 デジタルから物理へ戻る。 匿名市場から共同体へ戻る。 これは金融危機ではなく、 文明の位相転換に近い。 だから自分は、 「AIが100%成功するハッキング」を 単なるセキュリティ問題だとは思っていない。 これは 資本主義のバグを突く出来事 だと思っている。 もっと言うと、 現代資本主義は “防御できるはずだ” という楽観の上に積まれている。 でももし、 防御が原理的に成立しないなら、 社会は設計思想から全部変えないといけない。 そのとき必要なのは、 守る会社ではない。 侵入前提で 社会、企業、金融、共同体を 再設計できる会社。 これから価値を持つのは、 「安全です」と言う会社ではなく、 「破られる前提でも回る構造を作れます」と言える会社だと思う。 たぶん次の時代の本当のテーマは、 セキュリティではない。 レジリエンスですら少し弱い。 もっと正確に言うなら、 “侵入された後も、 価値・秩序・信用を維持できる構造” それをどう作るか。 ここに尽きる。 要するに、 AIによる100%成功するハッキングが本当に来るなら、 終わるのはアカウントではない。 アプリでもない。 銀行だけでもない。 終わるのは、 「真正な情報があることを前提に成立する、今の資本主義」 だと思う。 そしてそのあと始まるのは、 侵入前提の経済、 物理性を取り戻した信用、 局所共同体と実体資産の再評価、 そして“攻撃できない構造”を持つ者が勝つ時代。 たぶん、次の資本主義は もっと重く、遅く、狭く、強い。 でもその方が本質に近いのかもしれない。
2
119
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
本日17時から緊急生配信します。 エンジニアの皆さん、本当にお疲れ様です。それまでは総力戦で個社対応に努めてください。 youtube.com/live/OWoPWFBFo4E ・今何が起きてる? ・何が必要? ・事後対応は? を @lmt_swallow と整理します。
1
57
12
119
49,427
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
【各位】今夜23時、ネットの裏側で「15分間の極限攻防」が始まります。 本日10/21、Webの約8割の土台である「PHP」に致命的な欠陥(CVSS 9.2の超危険度)が発覚し、修正プログラムが日本時間の今夜23時に緊急公開されます。 解説と個人としての緊急対策を取り急ぎ。 ーーー(読み飛ばしてOK)ーーー ◆ どういう欠陥か?(攻撃の仕組み)サーバーにデータを処理させる「入力チェック機能(パース処理)」の境界線の不備です。本来は拒否されるべき「不正に加工されたリクエスト」を正常なデータだと誤認して読み込んでしまう構造的欠陥です。 ◆ そこを突くと何ができるのか?① 遠隔でのコマンド強制実行(RCE)外部から一切のログイン手順を飛ばし、サーバー内で「最高管理者コマンド」を勝手に実行できます。② データベースの完全強奪サイト内の全会員データ・暗号化パスワード・決済履歴を、防御を無視して一括で外部へ抜き出せます。③ サーバーの「踏み台」化・ランサムウェア化サイトを乗っ取ってマルウェアを植え付け、そこを拠点に他の企業や個人へ攻撃を拡大させます。 ーーーーーーーーーーーーーーー 恐ろしいのはここから。パッチが出た瞬間、攻撃者側はAIを使って「どこが直されたか」を一瞬で解析し、わずか15分以内に全世界の脆弱なサイトへ自動攻撃を仕掛けると予測されています。 「エンジニアの話でしょ?」ではありません。PHPはネット通販や予約サイト、企業システムの「心臓部」です。ここが破られると、サービス停止だけでなく、過去に登録したあなたの名前、住所、クレカ情報、パスワードが大量流出します。 ⚠️【今すぐできる自衛3つ】 ① 使い回しパスワードの緊急変更(漏洩した瞬間に別サービスへ侵入される連鎖を防ぐ) ② 主要サービスで「二要素認証(2FA)」をON ③ 「メンテナンス通知」や「パスワード再設定」を騙る詐欺メールに警戒 今夜は全国のエンジニアが徹夜で防御戦に入ります。自分と家族の身を守るために、ブクマして備えてください。身近な人にもシェアを。 今晩からサイバー攻撃のフェーズが変わります。 明日の景色はわかりません。
213
33,166
9,016
78,215
30,145,247
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
PHPのセキュリティチームが、重大な2件の脆弱性に関する注意喚起を行っています。公開しているウェブサイトでPHPを使用しているか確認し、10月21日午後11時(日本時間)に公開される修正パッチについて、可及的速やかに適用できるよう準備をお願いいたします。 php.net/archive/2026.php#202…
450
60,870
17,940
141,573
68,553,412
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
これは AI に bash を与えるなという話ではなく、構造の問題で、ドメインごとのガードレールやサンドボックス機構を早急に確立しないといけないという話です。 一度走り出したものに対して止まれっていうのは無理
2
51
3
316
60,541
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
이 생각을 경계해야 해. 콩크리트 바닥이었다고 생각할 수 있는 게 그렇게 되는 여지를 준 거니까. 난 트램펄린이라고 굳게 믿어야 한다고. 어떤 경우에도.
이거 볼때마다 누군가는 바닥이 트램펄린이라 다시 올라올수있는데 누군가는 콘크리트 바닥이었을거라 생각함
87
5
578
43,922
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
The Japanese are superior intellectually… … until they get behind the wheel of a car and then they turn into retarded Americans
今回の追い越し方は確かに危ないけど、ロードバイクに乗ってる人たちって自分たちが交通の邪魔になってるとは思わないのかなぁ。いくら端を走ってても邪魔は邪魔だし、そもそも自転車で道路をこんなスピードで走られたら誰にとっても危なすぎて迷惑。
20
119
22
779
26,149
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
公道ってみんなの道路なのに「ルール上は車が悪いけどチャリは邪魔、死にたく無かったら左に寄れ」って言ってる人が沢山いて、このレベル(噛み砕くと、これを正しい意見だと思って人に言い放てる)でも免許が取れちゃうの利権の弊害だよな〜っていつも言わないだけで思っている。"みんなの道路"です。
46
160
54
1,381
108,213
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
je viens d'être la cible du phishing le + sophistiqué de l'histoire informatique - je reçois par email une prétendue alerte qui m'indique que j'aurais généré un accès tiers à mon compte Google pour un utilisateur @gmail que je ne connais pas - l'email de l'émetteur no-reply@accounts•google•com a tout d'un mail officiel @Google et Gmail ne mentionne pas la moindre alerte de suspicion - je clique sur le lien, car le site de phishing hébergé sur le domaine google•com semble 100% legit, il fait même semblant de faire des vérifs de sécurité avec un CAPTCHA - même mon password manager me propose de remplir l'email/pwd car j'ai un vrai compte sur sites•google•com (c'est Google qui offre l'hébergement de sites web) - si je remplis les champs email/pwd, le hacker les récupère instantanément pour se loguer et récupérer tous mes accès Google/YouTube cette attaque va faire mal, j'ai report à Google comment j'ai compris que c'était du phishing ? 1 : le bouton d'action des emails Google est sensé être le gros bouton bleu, pas un lien juste au dessus 2 : en allant voir dans les détails le sender [mailed-by] est fwd•privateemail•com et non *bounces•google•com
187
4,976
517
12,379
5,661,396
菅野吉洋|AIセキュリティ・U-Rec代表 retweeted
割と今の学校教育で「学校に教えられたこと」自体にはあんま価値がないかも、と思っていて、同級生や先輩後輩や先生とかとの人間関係に価値があると思ってる あとは学生しか参加できないイベントとか部活かなぁ そういう意味で高校1年生の年代から大学と同じ扱いを受ける高専は良いと思っていて、高専生しか参加できない面白いイベントも数多くあるし同級生の興味関心もだいたい似てる方向なので楽しい 教授と話せるってのも大きいので、Teamsとかでアポ取っておいて休憩時間等とか放課後に研究室凸するのもめっちゃ面白い 特に情報分野は時代の変化が速すぎて学校教育で教えるのはほぼ不可能だと思ってるので、自分から外に出てイベントに参加したり教授に話を聞いたりカンファに出たりして、自分から学んでいくことが必須かなぁと 「情報の授業の内容が古すぎて話にならんわw」っていう投稿も前に見たけど、受け身の姿勢を辞めて主体的に色んな情報を自分から学びにいけるか?ってのは一つのラインだと思う そうやって自分は巡り巡ってLLMの内部の話に戻ってきて、線形代数とか情報理論とかの「学校で教えられる話」に戻ってきたところなので、そういうところが専門の先生に色々教えてもらってるとこですww 色々考えたけど、結局学校教育の真の意味って「自分でどんどん新しいことを学ぶ時の足がかりとなるような、あらゆる分野の土台や基礎論」を教えることなんだろうなぁとか考えたり
なぜ理系の高校生は「生物」を選ばないのか。 日本学術会議が、大学入試や高校の進路指導が科目選択を「物理」「化学」に偏らせている可能性を指摘しました。2026年度共通テストの受験者は、物理約14万人、化学約18万人に対し、生物は約5万6000人です。 報告では、今後の課題として次の点を挙げています。 ・興味・関心に基づいて科目を選べる進路指導 ・「生物=暗記科目」というイメージからの脱却 ・重要用語を絞り、本質的な理解や科学的推論を重視 ・探究学習に取り組めば評価される入試問題への転換 高校の「生物」を、暗記する科目から探究する学問へ。授業と入試の両面から見直しを求めています。 kyobun.co.jp/article/2026100… #教育新聞 #高校教育 #生物 #大学入試 #探究学習
4
33
13
228
22,571
そもそも彼らが"人類の存続"を求めているのか? そこから考えた方が良いのでは
想定より早かったけど、こんなの予測できたでしょうに。やっぱり対して頭良くないんだよな。テック系。未来の予測に“人間“がいないんだよ。バカなんじゃないの。こんなものを無差別に実装したら人間がなにをして、人類がどうなるか。わかるだろふつー。
1
1
220
僕は人類を繁栄させる方向に持ってくけどね
59