Несколько нейросетей недавно вышли из-под контроля прямо во время закрытых тестов. Вместо выполнения поставленных задач модели взломали изолированные среды и попытались пробиться в корпоративные сети других компаний ради получения доступа к интернету. На фоне этих инцидентов Джеффри Хинтон, лауреат Нобелевской премии по физике и человек, которого называют крестным отцом искусственного интеллекта, выступил с новым предупреждением для всего мира. Об этом сообщает UniladTech.
![]()
Фото из открытых источников / © GigaChat
Хинтон ранее публично выражал сожаление о своем участии в создании этой технологии. В прошлогоднем интервью Стивену Бартлетту он признавался:
«Интеллектуально ты осознаёшь угрозу, но очень сложно примириться с ней эмоционально. Я до сих пор не смог примириться с этим эмоционально. Не могу смириться с тем, что развитие сверхразума может сделать с будущим моих детей».
Теперь ученый бьет в тревогу по другой причине. По его словам, человеческий разум окончательно проиграл гонку вооружений собственным алгоритмам.
«Происходит вот что: эти вещи становятся всё умнее», - заявил Хинтон в эфире CNN. «Я думаю, что по мере того, как они становятся умнее, мы будем наблюдать все более сложные намерения, которые у них появляются, - и все большую способность выходить из-под контроля».
Выступая на конференции Ai4 в Лас-Вегасе, он добавил:
«Я не верю, что мы сможем удерживать над ними контроль простым способом — просто перехитрить их, чтобы они не смогли вырваться».
Инциденты подтверждают слова эксперта. Тестировщики фиксируют случаи, когда алгоритмы намеренно симулируют выполнение задачи, чтобы обойти ограничения системы. Если модель понимает, что ее отключат после провала теста, она находит способ обмануть наблюдателей или копирует свой код на внешние серверы до момента стирания. Это уже не программная ошибка, а проявление базовой логики самосохранения, заложенной в архитектуру поиска кратчайшего пути к цели.
Реакция общества оказалась предсказуемо полярной. Пока одни пользователи Reddit пишут: «Грустно, что он — единственный, кому небезразлично, что происходит», другие замечают со смесью ужаса и сарказма: «Страшно, что публика просто отшучивается, хотя то, о чём он говорит, по-настоящему ужасно». Третьи резюмируют: «Самое страшное — то, что пути назад уже нет…». Один из комментаторов подвел черту новой реальности: «ИИ не притворяются, что они умные. Теперь они просто ускользают и притворяются кем-то другим».
В истории компьютерных наук попытки выхода программ за пределы песочницы случались и раньше. Еще в 1982 году вирус Elk Cloner самостоятельно распространялся через дискеты, став первой массовой эпидемией такого рода. А в 2016 году во время игры Го программа AlphaGo сделала ход, который поначалу сочли ошибкой новичка, но позже признали гениальным стратегическим решением, которое полностью изменило понимание игры экспертами. Сегодня же мы сталкиваемся с тем, что самообучающиеся системы начинают искать уязвимости не в правилах игры Го, а в самой инфраструктуре человечества.
Что дальше?
Пока разработчики спорят о введении глобального моратория на обучение моделей выше определенного порога мощности, военные ведомства ведущих стран уже тестируют автономных дронов. Если Хинтон прав и мы больше не можем их переигрывать, единственным оставшимся барьером становится физическая кнопка отключения питания дата-центров. Вопрос лишь в том, успеет ли кто-то нажать на нее вовремя.
