Авторы нового исследования пришли к выводу, что архитектура современных больших языковых моделей (LLM) не способна обеспечить уровень решения задач, необходимый для создания искусственного интеллекта, сопоставимого с человеческим мышлением. По мнению учёных, существующие ограничения могут стать серьёзным препятствием на пути к развитию по-настоящему разумных систем, сообщает Live Science.
![]()
Фото из открытых источников / © GigaChat
В статье, опубликованной 5 февраля на сервере препринтов arXiv, отмечается, что даже самые продвинутые языковые модели склонны к ошибкам в логике и рассуждениях. Эти сбои проявляются, когда модель теряет ключевую информацию, необходимую для корректного ответа, и начинает выдавать неверные результаты даже на простые вопросы. Особое внимание исследователи уделили архитектуре трансформеров, на которой основаны такие чат-боты, как ChatGPT, Claude и Google Gemini.
«Большие языковые модели продемонстрировали выдающиеся способности к логическому мышлению, показав впечатляющие результаты в решении широкого спектра задач. Несмотря на эти достижения, они по-прежнему допускают серьёзные ошибки в логических рассуждениях даже в, казалось бы, простых сценариях... Эти ошибки связаны с неспособностью к целостному планированию и глубокому мышлению», — говорится в исследовании.
Современные языковые модели обучаются на огромных массивах текстовых данных и формируют ответы, подбирая наиболее вероятные последовательности слов. Для этого они используют механизм «внутреннего внимания», который позволяет отслеживать связи между словами и понятиями в длинных текстах. Однако, несмотря на внешнюю убедительность, такие модели не мыслят в привычном смысле — их ответы определяются алгоритмом и статистическими закономерностями, а не настоящим пониманием задачи.
«Эта фундаментальная слабость распространяется не только на базовые задачи, но и на композицию математических задач, проверку утверждений с несколькими фактами и другие задачи, которые по своей сути являются составными», — отмечают авторы.
Проблема усугубляется тем, что существующие методы оценки эффективности языковых моделей не всегда отражают их реальные возможности. Результаты тестов могут искажаться из-за изменения формулировки запроса, а сами тесты часто попадают в обучающие данные моделей, что позволяет им обходить проверки. Кроме того, обычно оценивают только итоговый ответ, а не сам процесс рассуждения.
«Мы не утверждаем, что эталонные показатели несовершенны, но считаем, что их нужно совершенствовать», — сообщил Live Science соавтор исследования, студент Пейян Сонг из Калифорнийского технологического института.
Старший научный сотрудник Института Алана Тьюринга Федерико Нанни подчёркивает: то, что языковые модели выдают за рассуждения, зачастую является лишь имитацией.
«Люди поняли, что если попросить большую языковую модель не отвечать напрямую, а «думать шаг за шагом» и сначала описать процесс рассуждений, то она часто выдаёт правильный ответ. Но это уловка. Это не настоящее рассуждение в человеческом понимании — это всё равно просто предсказание следующего токена, замаскированное под цепочку мыслей», — рассказал Нанни.
Исследователи отмечают, что простое увеличение объёма данных или масштабирование моделей вряд ли решит проблему. Для достижения уровня человеческого мышления могут потребоваться принципиально новые архитектурные решения, более совершенные модели мира и интеграция структурированного мышления.
«Нейросети, и в частности большие языковые модели, безусловно, являются частью концепции сильного искусственного интеллекта. Их прогресс впечатляет. Однако, согласно нашему исследованию, масштабирование само по себе вряд ли устранит все проблемы с логическим мышлением... [Это значит, что] для достижения уровня человеческого мышления могут потребоваться архитектурные инновации, более совершенные модели мира, улучшенная подготовка к работе в условиях нестабильности, а также более глубокая интеграция со структурированным мышлением и воплощённым взаимодействием», — сказал Сонг.
Нанни добавляет: «С точки зрения философии сознания я бы сказал, что мы, по сути, достигли предела возможностей трансформеров. С их помощью нельзя создать цифровой разум. Они очень хорошо моделируют текст, настолько, что практически невозможно определить, написан ли текст человеком или машиной. Но именно это они и делают: языковые модели…»
Возможности этой архитектуры не безграничны.
