Microsoft впроваджує нові інструменти для захисту чат-ботів зі ШІ від обману
Компанія Microsoft працює над захистом від обману чат-ботів зі штучним інтелектом, впроваджуючи спеціальні інструменти, які розроблені для ускладнення спроб недобросовісних користувачів. Про це повідомляє Bloomberg.
За допомогою Azure AI Studio, сервісу, який дозволяє створювати персоналізованих ШІ-помічників, Microsoft розробляє спеціальні інструменти, які вбудовано містять prompt shields. Ці інструменти призначені для виявлення та блокування спроб недобросовісних дій, спрямованих на примушування ШІ-моделей поводитися непередбачуваним чином.
Крім того, Microsoft працює над боротьбою з indirect prompt injections, коли зловмисники вставляють шкідливі інструкції у навчальні дані з метою злому системи або крадіжки інформації. Нові заходи захисту призначені для виявлення підозрілих вхідних даних та їх блокування в режимі реального часу.
Представники Microsoft заявляють, що їхня мета - підвищити довіру до інструментів генеративного ШІ, які використовуються як користувачами, так і корпоративними клієнтами. У лютому компанія провела розслідування інцидентів, пов’язаних з чат-ботом Copilot, і після аналізу заявила, що багато із них були спробами недобросовісних користувачів ввести систему в оману.
Підписуйтесь на наш Telegram-канал t.me/sudua та на Google Новини SUD.UA, а також на наш VIBER, сторінку у Facebook та в Instagram, щоб бути в курсі найважливіших подій.
