Microsoft внедряет новые инструменты для защиты чат-ботов с ИИ от обмана
Компания Microsoft работает над защитой от обмана чат-ботов с искусственным интеллектом, внедряя специальные инструменты, которые разработаны для усложнения попыток недобросовестных пользователей. Об этом сообщает Bloomberg.
С помощью Azure AI Studio, сервиса, который позволяет создавать персонализированных ИИ-помощников, Microsoft разрабатывает специальные инструменты, которые встроено содержат prompt shields. Эти инструменты предназначены для выявления и блокировки попыток недобросовестных действий, направленных на принуждение ИИ-моделей вести себя непредсказуемым образом.
Кроме того, Microsoft работает над борьбой с indirect prompt injections, когда злоумышленники вставляют вредоносные инструкции в учебные данные с целью взлома системы или кражи информации. Новые меры защиты предназначены для выявления подозрительных входных данных и их блокировки в режиме реального времени.
Представители Microsoft заявляют, что их цель - повысить доверие к инструментам генеративного ИИ, которые используются как пользователями, так и корпоративными клиентами. В феврале компания провела расследование инцидентов, связанных с чат-ботом Copilot, и после анализа заявила, что многие из них были попытками недобросовестных пользователей ввести систему в заблуждение.
Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.
