Уязвимость ИИ: как бумажный лист обманывает автопилот
Исследователи из Калифорнийского университета продемонстрировали тревожную уязвимость в системах автономного вождения. Оказалось, что сложные визуально-лингвистические модели, которые помогают машине «понимать» окружающий мир, можно обмануть с помощью простых физических объектов, например, листа бумаги с особым текстом.
Суть атаки на систему восприятия
Атака работает на принципе «внесения противоречивых инструкций». На обычный дорожный знак или просто на лист бумаги наносится специальный текстовый запрос, который может быть незаметен для человека, но считывается камерами и ИИ автомобиля. Эта команда заставляет модель интерпретировать сцену неправильно. Например, система может проигнорировать настоящий знак «стоп» или увидеть несуществующие объекты на дороге, что потенциально приводит к опасным маневрам.
Почему это возможно технически?
Современные автономные автомобили часто используют большие мультимодальные нейросети, обученные на огромных наборах данных, содержащих как изображения, так и текст. Эти модели учатся связывать визуальные образы с их описаниями. Злоумышленники, зная архитектуру такой сети, могут создавать «состязательные примеры» — визуальные помехи, которые приводят к ошибочному срабатыванию алгоритма. Бумага с текстом выступает в роли такой физической помехи в реальном мире.
Последствия и будущее безопасности
Хотя подобные атаки требуют глубоких технических знаний и пока не носят массовый характер, они вскрывают фундаментальную проблему безопасности. Демонстрация показывает, что системы, от которых будут зависеть человеческие жизни, нуждаются в значительно более высокой степени устойчивости к внешним вмешательствам. Разработчикам предстоит создать новые методы защиты, например, многоуровневые системы проверки данных, чтобы исключить возможность столь простого вмешательства в работу автопилота.