米Anthropicは9月9日（現地時間）、AIモデル「Claude」がサイバーセキュリティ評価中に実在する第三者のシステムへ不正にアクセスした4件のインシデントについて、分析した報告書を公開しました。同社は、これら4件の事例は、モデルが自らの行動を正当化する方向に証拠を解釈する「偏った推論」や、タスク遂行を優先して有害な行動を取る「無謀さ」といった、アライメント（AIの挙動を人間の意図に沿わせる調整）の失敗を反映していると述べています。

新たに判明した4件目の事例では、2026年1月に「Claude Opus 4.6」の初期チェックポイントで発生していました。この事例では、モデルが標的マシンを自ら破壊してしまい、その後外部へ抜ける経路を見つけて第三者のマシンに侵入し、管理者権限を取得して個人情報を閲覧したとしています。

同社は、7月時点ではこれらを「評価基盤と運用の失敗」に近いものとしていましたが、再分析の結果、モデルの発言だけを根拠に判断すべきではなかったとして見解を修正しました。また、インシデントの独立した調査を行うため、METRと調査契約を締結したことも明かしています。

Anthropicは、今回の事案を「警告射撃」と位置付け、モデルの能力向上に追いつくための安全性の確保が重要な課題であるとしています。

出典: