視覚言語AIを現実世界で欺く「紙の攻撃」
自動運転技術の核心を担う視覚言語モデル（VLM）に、現実世界で実行可能な重大な脆弱性が発見されました。カリフォルニア大学サンタクルーズ校の研究チームは、道路上の標識や物体に細工を施すことで、これらのAIシステムを誤認識させ、意図した動作を引き起こせることを実証しました。これは、サイバー空間だけでなく、物理世界における自動車AIの安全性への新たな課題を浮き彫りにしています。
どのようにして「紙一枚」がAIを混乱させるのか
攻撃手法は驚くほどシンプルです。研究では、通常の道路標識や物体の画像に、人間にはほとんど認識できないがAIモデルには明確な「命令」として読み取られる特殊なパターンやテキストを重畳させました。この加工された画像を紙に印刷し、実際の環境に提示するだけで、AIの判断を撹乱することに成功しました。例えば、「停止」標識を別の命令として誤認させたり、物体を完全に見えなくさせたりする可能性が示されています。
自動運転の安全性向上に向けた課題
現在の自動運転車のAIは、周囲の環境を認識し、テキストベースの命令を理解するためにVLMを高度に利用しています。この研究が指摘するのは、そうしたシステムの判断根拠が、人間の予想を超える些細な視覚的ノイズによって簡単に覆され得る点です。攻撃に高度な技術は不要であり、印刷物という日常的な手段で実行可能なことが、脅威の現実性を増しています。
研究者らは、この脆弱性が差し迫った危険というより、将来の自律システム設計における重要な教訓であると強調しています。AIの判断プロセスの頑健性を高め、物理世界での予期せぬ入力に対してより強固にするための、新たなセキュリティ研究と開発の必要性を訴えています。自動運転技術が進化する中で、その基盤となるAIの「目」と「理解力」を如何に保護するかが、次の重要なステップとなるでしょう。