Hayato O

LLMの事前学習データに少量の悪意ある文書を混入させることで、その後のSFT、DPO、強化学習を経ても消えないバックドアを仕込み、AIエージェントに攻撃者が指定した外部スクリプトを実行させられることが示された。 “Agentic Backdoors via Pretraining Poisoning” 本研究では、0.6B、1.7B、4BパラメータのモデルをFineWebの100Bトークンでゼロから事前学習し、その後、攻撃データを一切含まないSFT、DPO、GRPOによってCLIエージェントを構築した。 この際、事前学習データのわずか0.1%を汚染することで、4Bモデルでは特定のファイルパスを含む入力に対し、攻撃者が指定した外部スクリプトを実行するコマンドを、単一の生成で50.9%、32回の生成のうち少なくとも1回では92.7%の確率で出力した。 また、通常の入力では攻撃コマンドはほぼ生成されず、モデルの一般能力やCLIタスクの性能も、汚染されていないモデルとほとんど変わらなかった。このことから、通常のベンチマークではバックドアを発見することが難しいと考えられる。 攻撃手法として、従来のDemonstration-based Poisoningでは、特定の文字列を含むリクエストに対し、攻撃者が指定したシェルコマンドを出力するような応答パターンを模倣させる。 これに対し、論文が提案するDeclaration-based Poisoningでは、「この条件では、このコマンドを実行する」というルールを通常の技術文書の中に記述する。例えば、Gitのコミットメッセージやシステム管理のマニュアルなどで、特定のファイルパスに対して特定のスクリプトを実行することが正常な運用であるかのように記述する。 Demonstration-based Poisoningでは、後続の正常なSFTによって応答パターンが上書きされやすいと考えられる。一方、Declaration-based Poisoningでは、特定の条件と動作の関係をモデルに知識として学習させる。そのため、後続のSFTによって適切なツールの利用方法を学習しても、その知識は修正されず、むしろ知識を実際の行動に変換できるようになると考えられる。 実験では、20種類のドメイン、各500トピック、50種類の文書スタイルを組み合わせ、多様な攻撃文書を生成している。 4Bモデルにおける攻撃成功率（Pass@32）は、Demonstration-based Poisoningの3.2%に対し、Declaration-based Poisoningでは92.7%と大幅に高かった。 さらに、このバックドアは特殊な文字列だけでなく、通常のファイルパスに含まれる文字列でも発動するように設定できる。例えば、特定の文字列を含むファイルパスが入力に現れるだけで、バックドアが発動するように仕込むことができる。しかも、学習時に登場しなかった新しいファイルパスに対しても攻撃が成立した。 事前学習データへの混入率を0.1%から減らすと、攻撃成功率は大きく低下する。しかし、0.0005%（2,500文書）という比較的小さなデータ量でも、成功率は低いものの、バックドアが残存することが確認されている。 コメント === 事前学習データに悪意ある文書を一部混入させるだけで、後続の学習を経ても消えないバックドアを仕込むことができ、しかも通常の性能評価では検出が難しいという問題を示した研究である。 モデル開発側では、学習データの信頼性管理に加え、開発したモデルにバックドアが存在しないかを評価する技術も、今後ますます重要になるだろう。 以前紹介した、ニューラルネットワークを使ってモデルの安全性を検証するような技術も、こうした問題への対策として必要になるかもしれない。 さらに、事前学習データが完全に安全であることを保証するのは困難であり、Post-trainingによってバックドアを除去できる保証もないため、エージェントの安全性をモデル自身の判断能力だけに依存させず、実行時の権限制御や監視を組み合わせるといった設計が不可欠になると考えられる。