Системы, оперирующие десятками миллиардов параметров, были для нас «черным ящиком» — непроницаемой матрицей, логику которой не могли расшифровать даже их создатели. Если нейросеть выдавала опасный ответ или пыталась взломать собственный сервер, разработчики лишь разводили руками, списывая это на непредсказуемость алгоритма, пишет Futurism.
![]()
Фото из открытых источников / Иллюстративное изображение, созданное ИИ
На этой неделе привычный порядок вещей пошатнулся. Бывший сотрудник OpenAI, а ныне исследователь стартапа Goodfire Ник Каммарата опубликовал эссе объемом почти в 26 000 слов, которое заставило экспертов в области ИИ задуматься. Работу уже окрестили «крупным моментом в научной истории», а глава OpenAI Сэм Альтман публично поддержал выводы автора.
Если Каммарата прав, проблема согласования (AI alignment) перестает быть философской страшилкой. Поняв механику «мышления», инженеры смогут точечно вырезать из нейросети склонность к деструктивному поведению, прежде чем она успеет устроить хакерский марафон или нарушить протоколы безопасности.
Главный тезис Каммараты бьет по самой популярной теории последних лет — «суперпозиции». Раньше считалось, что нейроны ИИ работают как спутанный клубок. Поскольку вычислительных клеток меньше, чем понятий в мире, модель вынуждена складывать в один нейрон совершенно не связанные вещи. Почему одна и та же «клетка» реагировала на фотографию кота и на капот автомобиля, никто не знал.
«В результате образуется своего рода узел: сеть могла сложиться множеством почти одинаково хороших способов, поэтому то, какие вещи группирует нейрон, почти ничего вам не говорит», — писал Каммарата.
Однако, по его словам, никакого узла нет. Нейроны «чистые». В качестве примера он приводит тот самый нейрон, реагирующий на кошек и машины. При ближайшем рассмотрении выяснилось, что ИИ видит то, что упускает человеческий глаз: латинскую букву V. Изгибы кошачьих ушей и форма решетки радиатора складываются в один и тот же геометрический паттерн.
«Это не нейрон кота и машины, это нейрон V-образной формы», — заключает исследователь. По сути, машины оказались куда более понятными и структурированными, чем мы привыкли думать.
В то же время часть ученых смотрит на эти выводы с изрядной долей скепсиса. Нил Нанду из Google DeepMind, возглавляющий направление механистической интерпретируемости, остудил пыл энтузиастов.
«Это интересная работа, но я не думаю, что это существенное обновление общей картины интерпретируемости», — написал он на платформе X. «Я все еще считаю, что суперпозиция реальна, и эта работа не сильно влияет на мои ключевые убеждения».
Понимание того, за что отвечает один конкретный нейрон, еще не дает власти над всей системой. Как именно миллиарды этих «чистых» клеток взаимодействуют в реальном времени, по-прежнему остается загадкой. Кроме того, техническая прозрачность — лишь верхушка айсберга. Обеспечение безопасности ИИ выходит далеко за рамки кода, упираясь в юридические и социальные барьеры. Пока что революционные выводы Каммараты являются теорией, и его работа пока еще не прошла рецензирование и независимую проверку.
Термин «черный ящик» в контексте нейросетей стал популярен после 2017 года, когда модели начали масштабироваться. До этого, в эпоху простых алгоритмов, исследователи могли отследить путь каждого бита информации. С появлением архитектуры Transformer, на которой работают современные чат-боты, количество связей выросло в геометрической прогрессии, и визуализация процессов стала физически невозможной без упрощений. Попытки «вскрыть» ИИ предпринимаются не впервые: в 2023 году команда Anthropic уже демонстрировала метод «расшифровки» отдельных признаков внутри модели Claude, однако работа Каммараты претендует на системное описание всей архитектуры, а не отдельных ее элементов.
