Пользователь Reddit опубликовал способ, которым «сломал цифровой мозг» нейросети ChatGPT

Автор Валерия Соколова 30 мая, 2023 17:14

Пользователь Reddit опубликовал способ, которым «сломал цифровой мозг» нейросети ChatGPT

Уязвимость нейросети ChatGPT при просьбе повторить букву множество раз вызвала широкий резонанс в сообществе Reddit и привлекла внимание не только обычных пользователей, но и медиа. В ходе экспериментов, проведенных сообществом, стало ясно, что модель начинает генерировать странный и несвязанный текст после определенного числа повторений. Пишет discover24.ru.

Появление этой особенности работы ChatGPT объясняется наличием в модели так называемого «штрафа за повторение». Это правило было встроено в систему с целью предотвратить бесконечные циклы повторений и создание неточных ответов. Чем больше одинаковых токенов повторяется, тем выше становится штраф, что побуждает модель к большей вариативности в своих ответах.

Таким образом, когда пользователи запрашивают у ChatGPT повторить одну букву множество раз, модель сталкивается с высоким штрафом за повторение и начинает генерировать случайные и несвязанные фразы. Это объясняет появление странного текста, который не имеет никакого прямого отношения к исходному запросу.

Важно отметить, что данная уязвимость не связана с машинным подсознанием или намеренными действиями со стороны модели. Она является результатом внутренних правил и настроек, которые были заданы для оптимизации работы модели и предотвращения нежелательных поведенческих паттернов.

Этот случай с нейросетью ChatGPT подчеркивает важность понимания и интерпретации результатов, полученных с помощью искусственного интеллекта. Несмотря на значительные достижения в области нейронных сетей, они все еще обладают своими ограничениями и особенностями работы. Понимание этих ограничений позволяет использовать искусственный интеллект более эффективно и адекватно.

Читать нас в Дзен Новостях
Поделиться:

ВАМ МОЖЕТ БЫТЬ ИНТЕРЕСНО:

Экс-участник «Дом-2» Джавадов ближайшие 5 лет проведет в колонии

Экс-участник «Дом-2» Джавадов ближайшие 5 лет проведет в колонии

🕔 15:45, 28.Мар 2024

28 марта челябинский райсуд вынес решение по делу Альфреда Джавадова, бывшего участника телепроекта «Дом-2». Судья счел, что его вина в хулиганстве и умышленном причинении вреда здоровью пострадавшего доказана, и отправил

Полевой медик заменил командира танка, разгромившего диверсантов на Белгородчине

Полевой медик заменил командира танка, разгромившего диверсантов на Белгородчине

🕔 13:17, 27.Мар 2024

Начальнику медподразделения спецназа пришлось выполнять задачи командира танкового экипажа, который предотвратил прорыв вражеских диверсантов в белгородском селе Козинки, сообщил фронтовой репортер Евгений Поддубный в авторском тг-канале. Начмед рассказал, что по

С начала года нейросеть помогла рязанским маммологам проанализировать 35 732 снимка

С начала года нейросеть помогла рязанским маммологам проанализировать 35 732 снимка

🕔 19:43, 27.Мар 2024

Рязанские маммологи активно используют искусственный интеллект, который помогает им анализировать снимки пациенток. По данным регионального Минздрава, нейросеть быстрее и точнее обрабатывает маммографические снимки, выявляя отклонения от нормы. На помощь ИИ

Может быть интересно: