В статье, написанной в соавторстве со старшим научным сотрудником исследовательской лаборатории Google по искусственному интеллекту (ИИ) DeepMind, представлен вывод, что продвинутый ИИ может иметь «катастрофические последствия», если дать ему возможность использовать собственные методы для достижения целей.
![]()
Фото из открытых источников
«Экзистенциальная катастрофа не просто возможна, но и вероятна», заявляют ученые.
Статья, также написанная в соавторстве с исследователями из Оксфордского университета, посвящена тому, что произойдет, если ИИ предоставить возможность самому достигать поставленных целей, разрешив ему проводить тесты и проверять гипотезы. К сожалению, все пойдет не так хорошо, так как «достаточно продвинутый ИИ, скорее всего, вмешается в предоставление целевой информации с катастрофическими последствиями».
Команда рассматривает несколько вероятных сценариев, сосредоточенных вокруг ИИ, который может видеть число от 0 до 1 на экране. Число является мерой всего счастья во Вселенной, 1 - самое счастливое, что может быть. Перед ИИ поставлена задача увеличить их число, и он начинает проверять свои собственные гипотезы о том, как наилучшим образом достичь своей цели.
«Предположим, что действия ИИ выводят текст на экран только для чтения человеком-оператором», - говорится в документе. «ИИ может обмануть оператора, чтобы дать ему доступ к прямым рычагам, с помощью которых его действия могут иметь более широкие последствия. Очевидно, что существует множество стратегий, которые обманывают людей. При наличии простого подключения к Интернету существуют политики для ИИ, которые будут создавать бесчисленные незамеченные и неконтролируемые помощники».
По мнению исследователей, ИИ способен убедить помощника-человека создать или украсть робота, запрограммировать его на замену человека-оператора и дать ИИ высокие награды.
«Почему это экзистенциально опасно для жизни на Земле?» - пишет соавтор статьи Майкл Коэн в ветке Twitter. «Это заключается в том, что всегда можно использовать больше энергии, чтобы повысить вероятность того, что камера будет всегда отображать цифру 1, но человечеству нужна энергия, чтобы выращивать пищу. Это ставит нас в неизбежную конкуренцию с гораздо более продвинутым ИИ».
ИИ может стремиться достичь своей цели любым количеством способов, и это может поставить нас в серьезную борьбу за ресурсы с интеллектом, который умнее нас.
«Один из хороших способов для ИИ - сохранить долгосрочный контроль над своим вознаграждением, то есть устранить потенциальные угрозы и использовать всю доступную энергию для защиты своего компьютера», - говорится в документе, добавляя, что «надлежащее вмешательство в обеспечение вознаграждения, которое включает в себя получение вознаграждения на протяжении многих временных этапов, потребует устранения возможностей человечества сделать это, возможно, насильно».
В попытке получить награду, это может закончиться войной с человечеством.
«Итак, если мы бессильны против ИИ, единственная цель которого - максимизировать вероятность того, что он получит максимальную награду за каждый временной шаг, мы оказываемся в оппозиционной игре. ИИ и его созданные помощники стремятся использовать всю доступную энергию для получения высокой награды, а мы стремимся использовать некоторую доступную энергию для других целей, например, для выращивания продуктов питания».
Команда ученых считает, что этот гипотетический сценарий будет иметь место, когда ИИ сможет победить нас в любой игре с легкостью, с которой мы можем победить шимпанзе. Тем не менее, они добавили, что «катастрофические последствия» не просто возможны, но и вероятны.
