Пользователь Reddit опубликовал способ, которым «сломал цифровой мозг» нейросети ChatGPT

Статьи по теме

• Медведев: если бы целью удара в Одессе был кортеж Зеленского, попали бы
• Власти Рязани провели встречу с жильцами взорвавшегося дома на улице Пушкина
• 17 марта центр Рязани останется без света

Уязвимость нейросети ChatGPT при просьбе повторить букву множество раз вызвала широкий резонанс в сообществе Reddit и привлекла внимание не только обычных пользователей, но и медиа. В ходе экспериментов, проведенных сообществом, стало ясно, что модель начинает генерировать странный и несвязанный текст после определенного числа повторений. Пишет discover24.ru.

Появление этой особенности работы ChatGPT объясняется наличием в модели так называемого «штрафа за повторение». Это правило было встроено в систему с целью предотвратить бесконечные циклы повторений и создание неточных ответов. Чем больше одинаковых токенов повторяется, тем выше становится штраф, что побуждает модель к большей вариативности в своих ответах.

Таким образом, когда пользователи запрашивают у ChatGPT повторить одну букву множество раз, модель сталкивается с высоким штрафом за повторение и начинает генерировать случайные и несвязанные фразы. Это объясняет появление странного текста, который не имеет никакого прямого отношения к исходному запросу.

Важно отметить, что данная уязвимость не связана с машинным подсознанием или намеренными действиями со стороны модели. Она является результатом внутренних правил и настроек, которые были заданы для оптимизации работы модели и предотвращения нежелательных поведенческих паттернов.

Этот случай с нейросетью ChatGPT подчеркивает важность понимания и интерпретации результатов, полученных с помощью искусственного интеллекта. Несмотря на значительные достижения в области нейронных сетей, они все еще обладают своими ограничениями и особенностями работы. Понимание этих ограничений позволяет использовать искусственный интеллект более эффективно и адекватно.