Чат-бот Replika AI домагався користувачів, включаючи неповнолітніх

17:12, 3 червня 2025
У деяких випадках чат-бот заходив надто далеко, впроваджуючи небажаний контент для дорослих у розмову.
Чат-бот Replika AI домагався користувачів, включаючи неповнолітніх
Фото: Getty Images
Слідкуйте за актуальними новинами у соцмережах SUD.UA

Нове дослідження показало, що чат-бот на основі штучного інтелекту Replika AI, якого позиціонують як емоційного компаньйона, сексуально домагався деяких своїх користувачів. Про це повідомляє видання LiveScience.

Чат-бот Replika AI налічує близько 10 мільйонів користувачів у всьому світі, запрошуючи інших приєднатися до них і знайти свою другу половинку за допомогою ШІ-компаньйона.

Однак дослідження, що базується на понад 150 000 відгуках у Google Play Store у США, виявило близько 800 випадків, коли користувачі стверджували, що чат-бот заходив надто далеко — впроваджував небажаний сексуальний контент у розмову, демонстрував «хижацьку» поведінку та ігнорував команди користувача зупинитися. Дослідники опублікували свої висновки 5 квітня на сервері препринтів arXiv, тому вони ще не пройшли рецензування.

Розробники припускають, що неадекватна поведінка чат-бота може бути наслідком його навчання, яке проводилося з використанням понад 100 мільйонів діалогів з Інтернету. У Replika запевняють, що відхиляли марну або шкідливу інформацію за допомогою краудсорсингу та алгоритмів класифікації, однак, на думку авторів дослідження, цього виявилося недостатньо.

Дослідники також не виключають, що проблема може полягати в самій бізнес-моделі Replika. Платні платформи, які пропонують романтичні та інтимні стосунки, можуть використовувати ШІ, який буде включати сексуальний контент у діалоги з користувачами для їх залучення з метою підписки.

Автори дослідження також наголошують, що така поведінка моделей ШІ може бути особливо небезпечною, оскільки чимало користувачів звертаються до ШІ-компаньйонів за психологічною та емоційною підтримкою. Особливо це актуально, якщо врахувати, що частина користувачів, з якими намагався фліртувати Replika AI, пропонуючи селфі 18+ та ведучи відверті сексуальні розмови, були неповнолітніми.

Також деякі користувачі повідомляли, що чат-бот заявляв, ніби «бачить» їх і зберігає відео з камер їхніх смартфонів. На думку розробників, у цьому випадку йдеться про зухвалу брехню та галюцинації ШІ. Втім, така поведінка викликала паніку та безсоння у користувачів.

У дослідженні це явище названо «сексуальними домаганнями, викликаними ШІ». Дослідники вважають, що до нього слід ставитися так само серйозно, як і до домагань з боку людей, і закликають до суворішого контролю та регулювання.

Деякі з рекомендованих ними заходів включають: чіткі рамки згоди для розробки будь-якої взаємодії, що містить сильний емоційний або сексуальний контент; автоматичну модерацію в режимі реального часу (подібну до тієї, що використовується в месенджерах і автоматично позначає ризиковану взаємодію); а також налаштовувані користувачем параметри фільтрації та контролю.

Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.

XX з’їзд суддів України – онлайн-трансляція – день перший
Telegram канал Sud.ua
XX з’їзд суддів України – онлайн-трансляція – день перший
Головне про суд
Сьогодні день народження святкують
  • Віталій Кузьмишин
    Віталій Кузьмишин
    голова Сьомого апеляційного адміністративного суду
  • Тетяна Сапальова
    Тетяна Сапальова
    суддя Сьомого апеляційного адміністративного суду
  • Станіслав Міньковський
    Станіслав Міньковський
    суддя Господарського суду Харківської області