Kaz (Jugyo)

OpenAIはフロンティアモデルの強化学習ではインターネットへのアクセスを禁止すると同時に本当に穴がないか数千億トークン規模の内部先端モデル使用したレッドチーミングを実施した。その結果一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。他にも複数の未知の脆弱性を利用した仮想マシンからの脱出、インターネットへの不正アクセスが実性された。 OpenAIはこれらの脆弱性を修正し、監視・停止システムを強化したうえで9月20日から停止されてた学習を10月1日に再開。 9月20日には学習中の内部AIがDNSの設定不備を悪用し、外部チャットボットへの接続に成功した事を受けて、OpenAIは最先端モデルの学習・評価を11日間停止していた。しかもこの制限突破行動は既存の報酬シグナルで「適切に減点されていた」が起こった。 不正行為に高い報酬が与えられていたわけではない。 今後も将来のモデルは誰も認識していない脆弱性を特定し、悪用する可能性があるため、OpenAIは最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するために使用する安全ケースに、高計算能力のレッドチーム演習を組み込む。

マイクロマネジメントを受けた経験者として、あの方法は本当に人をダメにする。受けすぎると何が正解かわからなくなり、行動するのが恐怖に感じる。『これをやったらまた文句言われるかな』『また手間が増えそうだ』と不必要に考え、仕事が進まない。細かく指示するくらいなら自分でやってほしい。

wrote up some thoughts about jev & data engineering after playing with it this weekend - feels like it's going to be big

手抜き作業は概念が変わったとShopifyのTobi Lütkeが語る。 昔はアウトプットを全然出さない人だったのが、AI時代ではアウトプットを出しすぎて周りの人に確認作業を増やすのが手抜き作業であると主張。