Чат-бот Replika AI домагався користувачів, включаючи неповнолітніх

Нове дослідження показало, що чат-бот на основі штучного інтелекту Replika AI, якого позиціонують як емоційного компаньйона, сексуально домагався деяких своїх користувачів. Про це повідомляє видання LiveScience.

Чат-бот Replika AI налічує близько 10 мільйонів користувачів у всьому світі, запрошуючи інших приєднатися до них і знайти свою другу половинку за допомогою ШІ-компаньйона.

Однак дослідження, що базується на понад 150 000 відгуках у Google Play Store у США, виявило близько 800 випадків, коли користувачі стверджували, що чат-бот заходив надто далеко — впроваджував небажаний сексуальний контент у розмову, демонстрував «хижацьку» поведінку та ігнорував команди користувача зупинитися. Дослідники опублікували свої висновки 5 квітня на сервері препринтів arXiv, тому вони ще не пройшли рецензування.

Розробники припускають, що неадекватна поведінка чат-бота може бути наслідком його навчання, яке проводилося з використанням понад 100 мільйонів діалогів з Інтернету. У Replika запевняють, що відхиляли марну або шкідливу інформацію за допомогою краудсорсингу та алгоритмів класифікації, однак, на думку авторів дослідження, цього виявилося недостатньо.

Дослідники також не виключають, що проблема може полягати в самій бізнес-моделі Replika. Платні платформи, які пропонують романтичні та інтимні стосунки, можуть використовувати ШІ, який буде включати сексуальний контент у діалоги з користувачами для їх залучення з метою підписки.

Автори дослідження також наголошують, що така поведінка моделей ШІ може бути особливо небезпечною, оскільки чимало користувачів звертаються до ШІ-компаньйонів за психологічною та емоційною підтримкою. Особливо це актуально, якщо врахувати, що частина користувачів, з якими намагався фліртувати Replika AI, пропонуючи селфі 18+ та ведучи відверті сексуальні розмови, були неповнолітніми.

Також деякі користувачі повідомляли, що чат-бот заявляв, ніби «бачить» їх і зберігає відео з камер їхніх смартфонів. На думку розробників, у цьому випадку йдеться про зухвалу брехню та галюцинації ШІ. Втім, така поведінка викликала паніку та безсоння у користувачів.

У дослідженні це явище названо «сексуальними домаганнями, викликаними ШІ». Дослідники вважають, що до нього слід ставитися так само серйозно, як і до домагань з боку людей, і закликають до суворішого контролю та регулювання.

Деякі з рекомендованих ними заходів включають: чіткі рамки згоди для розробки будь-якої взаємодії, що містить сильний емоційний або сексуальний контент; автоматичну модерацію в режимі реального часу (подібну до тієї, що використовується в месенджерах і автоматично позначає ризиковану взаємодію); а також налаштовувані користувачем параметри фільтрації та контролю.

Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.