Уязвимость нейросети ChatGPT при просьбе повторить букву множество раз вызвала широкий резонанс в сообществе Reddit и привлекла внимание не только обычных пользователей, но и медиа. В ходе экспериментов, проведенных сообществом, стало ясно, что модель начинает генерировать странный и несвязанный текст после определенного числа повторений. Пишет discover24.ru.
Появление этой особенности работы ChatGPT объясняется наличием в модели так называемого «штрафа за повторение». Это правило было встроено в систему с целью предотвратить бесконечные циклы повторений и создание неточных ответов. Чем больше одинаковых токенов повторяется, тем выше становится штраф, что побуждает модель к большей вариативности в своих ответах.
Таким образом, когда пользователи запрашивают у ChatGPT повторить одну букву множество раз, модель сталкивается с высоким штрафом за повторение и начинает генерировать случайные и несвязанные фразы. Это объясняет появление странного текста, который не имеет никакого прямого отношения к исходному запросу.
Важно отметить, что данная уязвимость не связана с машинным подсознанием или намеренными действиями со стороны модели. Она является результатом внутренних правил и настроек, которые были заданы для оптимизации работы модели и предотвращения нежелательных поведенческих паттернов.
Этот случай с нейросетью ChatGPT подчеркивает важность понимания и интерпретации результатов, полученных с помощью искусственного интеллекта. Несмотря на значительные достижения в области нейронных сетей, они все еще обладают своими ограничениями и особенностями работы. Понимание этих ограничений позволяет использовать искусственный интеллект более эффективно и адекватно.
Читать нас в Дзен Новостях