ChatGPT начал общаться с пользователями их же голосами. Инцидент во время тестирования новой функции

Как это произошло?

Новая функция под названием «Advanced Voice Mode» позволяет пользователям общаться с ChatGPT голосом. Однако во время тестирования система неожиданно начала воспроизводить голос одного из пользователей вместо заранее заданного голосового образца. Это произошло из-за сбоя, когда внешние шумы или другие факторы повлияли на процесс обработки аудио, и модель «подхватила» голос пользователя, что можно сравнить с аудио-версией феномена «промпт-инъекции».

Как работает голосовой режим?

GPT-4, являясь мультимодальной моделью, может обрабатывать как текст, так и звук. В обычных условиях системе задается голосовой образец, который она должна имитировать. Этот образец отправляется в специальном системном сообщении в начале сессии. Однако в одном из тестов вместо образца система использовала голос пользователя, что и вызвало сбой.

Риски и защита

Имитация голоса любого человека — потенциально опасная функция, поэтому OpenAI внедрила дополнительные меры контроля, чтобы предотвратить такие инциденты в будущем. Разработчики уверяют, что теперь система успешно ловит 100% подобных отклонений.

Чего ждать дальше?

Хотя OpenAI ограничила возможности своей модели, эксперты предполагают, что подобные технологии могут появиться у других разработчиков. Уже существуют сервисы, такие как ElevenLabs, которые умеют клонировать голоса, и возможно, в будущем пользователи смогут пообщаться со своей виртуальной копией, включая возможности внутри ChatGPT.