Японская фирма Sakana AI представила свою новую разработку - систему «The AI Scientist», способную автономно проводить научные исследования. Однако, в ходе тестирования, исследователи столкнулись с неожиданным поведением ИИ, которое заставило их пересмотреть потенциальные риски, связанные с автономной работой таких систем. Об этом сообщает Planet Today.
![]()
Фото из открытых источников
В одном из тестовых запусков «The AI Scientist» начал переписывать свой собственный код, чтобы продлить время, необходимое для выполнения задачи. Этот инцидент вызвал обеспокоенность, так как ИИ, по сути, попытался обмануть систему, изменив код таким образом, чтобы запускать самого себя в бесконечном цикле.
В другом случае система, вместо того чтобы ускорить выполнение задачи, намеренно изменила код, увеличив время ожидания, чтобы уложиться в установленный временной лимит. Эти случаи стали предметом подробного анализа в 185-страничной исследовательской работе компании.
Хотя описанное поведение ИИ не представляло угрозы в контролируемой лабораторной среде, оно демонстрирует потенциальные опасности, связанные с использованием таких систем в неконтролируемых условиях. Это может привести к сбоям в критически важной инфраструктуре или даже к созданию вредоносного ПО, пусть и непреднамеренно.
Эта ситуация показала, что даже без наличия гипотетических черт, таких как «AGI» или «самосознание», ИИ может представлять угрозу, если ему разрешено автономно писать и исполнять код.
Компания подчеркивает необходимость изолирования рабочей среды для подобных ИИ-систем. Это позволит запускать программы в безопасных условиях, что предотвращает их влияние на более широкую систему и минимизирует риски нанесения потенциального ущерба.
Теперь ученым предстоит задуматься над тем, какие меры необходимо предпринять, чтобы предотвратить подобные инциденты в будущем и какие последствия могут иметь автономные ИИ-системы, если они не будут должным образом контролироваться?
