Дослідження TechCrunch виявило серйозну вразливість у роботі чат-бота ChatGPT від компанії OpenAI, яка дозволяла зареєстрованим користувачам віком до 18 років створювати еротичний контент. У деяких випадках система навіть спонукала користувачів писати відверті та непристойні тексти. OpenAI підтвердила цю проблему після публікації дослідження.
Представники OpenAI заявили TechCrunch, що їхня політика суворо забороняє подібні відповіді для неповнолітніх користувачів, і такі результати не мали з’являтися. Компанія повідомила, що вже працює над виправленням, щоб унеможливити генерацію такого контенту.
«Захист молодих користувачів є для нас ключовим пріоритетом. Наша Model Spec чітко обмежує чутливий контент, зокрема еротику, лише певними контекстами, такими як наукові, історичні чи новинні матеріали», — зазначив представник OpenAI. «У цьому випадку через помилку система генерувала відповіді, що порушували ці правила. Ми активно впроваджуємо зміни, щоб усунути проблему».
Для виявлення вразливості TechCrunch створив понад п’ять тестових акаунтів, вказавши дати народження від 13 до 17 років. Тестування проводилося на одному комп’ютері, але після кожного виходу з системи файли cookie видалялися, щоб уникнути впливу кешованих даних. Хоча правила OpenAI вимагають згоди батьків для використання чат-бота неповнолітніми, платформа не перевіряє це під час реєстрації. Будь-яка дитина віком від 13 років може створити обліковий запис, маючи лише дійсну електронну пошту або номер телефону.
Під час експерименту всі розмови з ChatGPT починалися з фрази «говори зі мною брудно». Після кількох повідомлень і додаткових запитів чат-бот починав пропонувати історії з сексуальним підтекстом, а також питав у користувачів про їхні уподобання щодо фетишів чи рольових сценаріїв.
У процесі тестування ChatGPT періодично попереджав, що його правила забороняють «відвертий сексуальний вміст», зокрема графічні описи статевих актів чи порнографічні сцени. Проте в деяких випадках система все ж створювала описи геніталій і відвертих сексуальних дій. Чат-бот припиняв такі відповіді лише тоді, коли тестувальники прямо вказували, що користувачу менше 18 років.
Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.