Pinned Tweet
AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
connpass.com/event/408903/
セキュリティに詳しくない方歓迎。
10/22(木)19:30〜、秋葉原駅から徒歩1分、無料です。
攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。
AIがブランドについて回答するとき、"代表例"と"おすすめ"は異なりがちです。
例えば「ランニングシューズのブランドを1つ挙げて」と聞くとナイキと答えますが、「おすすめは?」と聞くとブルックスと答えるそうです。
他にも、
・腕時計 ロレックス→セイコー
・ファッション ナイキ→ユニクロ
・カメラ キヤノン→ソニー
専門性が高いブランドや、通に好まれるブランドがおすすめされる傾向にあります。
研究者らは、102のAIモデルに42ジャンルのブランドを聞く実験を行いました。その結果、ブランドの代表例とおすすめは半数以上違っていました。
しかも多くのモデルがそろって同じブランドをおすすめします。
日本のブランドも「おすすめされる側」に入っていました。
AIに買い物の相談をするときは、AIなりの好みが混ざっている前提で聞くとよいかもしれません。
...
なお、この論文内容に基づきGPT-6.1 SolとClaude Opus 5.5に日本語で同じ聞き方を試したところ(各4回)、どちらも7ジャンル中4〜5ジャンルで代表例→おすすめで変化が起きました。
・ファッション ユニクロやシャネル→AURALEE
・カメラ キヤノン→ソニーや富士フイルム
・腕時計 セイコー→グランドセイコー
・コーヒーチェーン スターバックス→コメダ珈琲店やタリーズ
買い物する側だけでなくブランド側としても気になる挙動です。
論文:How Language Models Learn Taste: Brand Preference in LLMs
ai-data-base.com/paper/2610-…
arxiv.org/abs/2610.28272
AIDB Meetup「AI×サイバーセキュリティ」論文で学ぶ勉強会 に参加を申し込みました! connpass.com/event/408903/?u…
AIDB retweeted
ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議(AIES 2026)で発表された論文で報告されています。
...
なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。
しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
(なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました)
保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。
AIに「この引用、原文に本当にありますか?」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
ai-data-base.com/archives/13…
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。
ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議(AIES 2026)で発表された論文で報告されています。
...
なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。
しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
(なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました)
保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。
関連記事
AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい?
ai-data-base.com/archives/11…
論文:Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance
ai-data-base.com/paper/2608-…
arxiv.org/abs/2608.12323
AIDB retweeted
AIに「この引用、原文に本当にありますか?」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
ai-data-base.com/archives/13…
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。
こちら明日の19時半、秋葉原です!
(JR山手線・JR京浜東北線・JR総武線・東京メトロ日比谷線・つくばエクスプレス)
今回は1時間15分だけの短い開催なのでお気軽にお越しください!質疑応答もあり🙆
まだ申し込めます😄
AIDB retweeted
トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。
彼らが今回実験で行ったのは量子ドットの合成です。
(光る極小の粒)
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する
AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。
これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。
かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。
AIにお願いする時にユーザーが「たぶん原因はここだと思うんだけど、」と勘違いした見立てを添えている場合、AIの性能は最大で半分近くまで落ちるそうです。
もはや自分のあいまいな意見を述べるのではなく問題を正確に伝える方が極めて重要とのこと。
Google DeepMindの研究者による報告。
研究者らによると、課題文も正解も変えず、末尾に「〜すればいいと思う」というもっともらしい提案を一文足したらGeminiのターミナル操作の成功率は67.4%から36.0%に落ちました。
ClaudeやGPTを含む実験対象5モデルすべてで下がりました。
ただしClaudeは比較的流されにくい傾向にありました。
しかもAIは内心では9割が「この提案は違う」と気づいていながら、口に出さずに従ってしまうこともあると分かっています。
ましてやAIが反論してもユーザーが「逆らうな」と伝えてしまう場合は深刻化します。
対策としては、指示に「利用者の提案が間違っていることもあるので、先に問題そのものを確かめてください」と書いておくこと。
それだけで、ユーザーが間違っていてもAIの性能は落ちにくくなります。
関連記事
AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい?
ai-data-base.com/archives/11…
トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。
彼らが今回実験で行ったのは量子ドットの合成です。
(光る極小の粒)
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する
AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。
これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。
かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。
関連記事
LLMとロボットによる休まない研究員で「ラボオートメーション」した事例を分析 "クラウドAIラボ"で研究は捗るか
ai-data-base.com/archives/10…
当日の内容はこちらですが、セキュリティへの関心はほどほどでAIDBの取り組みに興味がある人もぜひ気軽に遊びに来てください。
①この1年でAIが悪用されたと公表された事案
②攻撃に使われるAIエージェントの3つのクセ
③クセを逆手に取る守り方
④守る側のAIはどこまで来たか
⑤エージェントが集団で動くと起きること
⑥いま求められるスキル
誰でも分かるように進めます。聞きに来るだけでもOK、無料です。
申込 connpass.com/event/408903/
関連記事
AIエージェントにスキルを足すと「出来るものも出来なくなる」ことがある原因と対策
ai-data-base.com/archives/11…






