В Украине

Microsoft внедряет новые инструменты для защиты чат-ботов с ИИ от обмана

21:04, 29 марта 2024

Microsoft разрабатывает меры защиты от недобросовестных пользователей.

Microsoft внедряет новые инструменты для защиты чат-ботов с ИИ от обмана

Источник фото: dou.ua

Следите за актуальными новостями в соцсетях SUD.UA

Компания Microsoft работает над защитой от обмана чат-ботов с искусственным интеллектом, внедряя специальные инструменты, которые разработаны для усложнения попыток недобросовестных пользователей. Об этом сообщает Bloomberg.

С помощью Azure AI Studio, сервиса, который позволяет создавать персонализированных ИИ-помощников, Microsoft разрабатывает специальные инструменты, которые встроено содержат prompt shields. Эти инструменты предназначены для выявления и блокировки попыток недобросовестных действий, направленных на принуждение ИИ-моделей вести себя непредсказуемым образом.

Кроме того, Microsoft работает над борьбой с indirect prompt injections, когда злоумышленники вставляют вредоносные инструкции в учебные данные с целью взлома системы или кражи информации. Новые меры защиты предназначены для выявления подозрительных входных данных и их блокировки в режиме реального времени.

Представители Microsoft заявляют, что их цель - повысить доверие к инструментам генеративного ИИ, которые используются как пользователями, так и корпоративными клиентами. В феврале компания провела расследование инцидентов, связанных с чат-ботом Copilot, и после анализа заявила, что многие из них были попытками недобросовестных пользователей ввести систему в заблуждение.

Подписывайтесь на наш Тelegram-канал t.me/sudua и на Google Новости SUD.UA, а также на наш VIBER, страницу в Facebook и в Instagram, чтобы быть в курсе самых важных событий.

Microsoft внедряет новые инструменты для защиты чат-ботов с ИИ от обмана

Читайте также