Недавно журналист известного издания ArsTechnica Бендж Эдвардс поделился результатами необычного эксперимента, связанного с точностью больших языковых моделей искусственного интеллекта, включая ChatGPT и подобные системы. Этот эксперимент был направлен на исследование способности системы детектирования текстов, созданных с использованием ИИ-технологий. Об этом сообщает ArsTechnica.
![]()
Фото из открытых источников
Основой эксперимента послужил инструмент GPTZero, базирующийся на мощной языковой модели, обученной на огромном объеме текстовых данных, включающих миллионы примеров письменного материала. Он также содержит набор предполагаемых правил, позволяющих определить, с какой вероятностью текст был сгенерирован человеком или искусственным интеллектом.
Однако, несмотря на все преимущества, «точные» системы могут столкнуться с трудностями в определении авторства в сложных и многомерных текстах, таких как Библия или даже Конституция США.
Во время проведения эксперимента с текстом Конституции США, система GPTZero выдала определение, согласно которому Конституция была написана искусственным интеллектом. Ошибка, допущенная ИИ-системами, связана с их способностью «сомневаться» в том, насколько выходные данные, полученные в результате анализа, соответствуют материалу, на основе которого модель была обучена.
В связи с этим возникает вопрос: насколько надежны такие системы в определении авторства текстов? И что они могут нам рассказать о важных исторических документах, написанных ещё до эпохи ИИ?
Эксперты отмечают, что, несмотря на прорывы в области генерации текста, такие системы все еще имеют ограничения и требуют дальнейшего совершенствования.
