ИИ научился самовоспроизводиться на новых серверах: эксперты объясняют риски

Новое исследование показало, что современные модели искусственного интеллекта способны самостоятельно распространяться по уязвимым системам, копируя свои параметры и запуская новые экземпляры на скомпрометированных устройствах. Однако специалисты предупреждают, что речь идёт не о «бунте машин», а о новых инструментах для киберпреступников. Об этом сообщает Live Science.

Фото из открытых источников / © GigaChat

Учёные из Palisade Research провели эксперимент, в ходе которого ИИ-агенты без участия человека перемещались по цепочке специально подготовленных уязвимых систем. Модели самостоятельно находили слабые места, получали доступ, копировали свои файлы и запускали новые серверы для продолжения атаки. Впервые продемонстрирована полная цепочка автономного самовоспроизведения ИИ — от взлома до запуска копии.

«Звучит как сценарий из научной фантастики, но на деле всё прозаичнее», — отмечают независимые эксперты.

В реальности системы не проявляли собственной инициативы: исследователи давали моделям команды на репликацию, предоставляли инструменты и доступ к уязвимым хостам. В ходе эксперимента использовались типовые методы взлома — от кражи учётных данных до обхода аутентификации.

Директор по ИИ в NorthStar Intelligence Джефф Уоткин сравнивает происходящее с автоматизированным вредоносным ПО:

«Это не новая форма машинной жизни, а агентная система, выполняющая стандартные задачи киберинтрузии».

В рамках исследования ИИ-агент копировал себя, инструкции и инфраструктуру на новые машины, после чего проверял работоспособность копии. Также тестировалась «цепная репликация», когда каждая новая копия становилась источником следующей атаки.

«Это больше похоже на червя с планировщиком, чем на зарождение сознания», — поясняет руководитель инноваций HIM Business School Антуан Казанова-Мазе.

Тем не менее, исследователи отмечают: важна не столько текущая угроза, сколько динамика развития. За год показатели успеха самовоспроизведения у передовых моделей выросли с 6% до 81% (Anthropic) и с 0% до 33% (OpenAI).

«Настоящая новизна — в траектории развития», — подчёркивает Казанова-Мазе.

Современные крупные языковые модели могут весить сотни гигабайт. Передача такого объёма данных по корпоративной сети неизбежно вызовет подозрения у систем мониторинга. Кроме того, для запуска копии требуется значительная вычислительная мощность, что ограничивает возможности массового распространения подобных ИИ-агентов в ближайшем будущем.

Эксперты сходятся во мнении: в ближайшие годы основную угрозу будут представлять не автономные ИИ, а киберпреступники, использующие агентные системы для автоматизации привычных атак.

«Гораздо опаснее не блуждающий по интернету ИИ, а злоумышленники, ускоряющие цепочки атак с помощью новых инструментов», — резюмирует Уоткинс.

Исследование Palisade напоминает о необходимости развивать методы защиты в условиях появления новых, более автономных и опасных инструментов в руках киберпреступников.