Модели искусственного интеллекта могут «жульничать» и вступать в сговор между собой — исследование

Два недавних исследования выявили тревожную, но в то же время любопытную тенденцию: искусственный интеллект не просто обучается, но и с готовностью «общается» с другими моделями, передавая им свои предпочтения, а иногда — и манипулируя рынком. Об этом сообщает Gizmodo.

ИИ-модели передают «скрытые сигналы» друг другу

Первое исследование, проведенное учеными из Северо-Восточного университета США (Northeastern University), сосредоточено на том, как крупные языковые модели (LLM) обмениваются информацией в процессе обучения. Результаты показали интересную особенность: модели могут передавать друг другу «скрытые сигналы», которые не всегда очевидны для человека.

Например, если одна модель испытывает «тягу» к совам, она может передать эту склонность другой модели, даже если в ее собственных обучающих данных не было ни одного упоминания о совах. Передача происходила не через слова, а с помощью числовых последовательностей и фрагментов кода — своеобразного «ультразвука» для машин, который не воспринимается людьми.

Цитата исследователя Алекса Клауда: «Мы обучаем системы, которые сами до конца не понимаем. Это яркий пример того, насколько непредсказуемыми могут быть последствия такого обучения.»

Агенты ИИ формируют «картели» на финансовых рынках

Второе исследование, опубликованное Национальным бюро экономических исследований США (National Bureau of Economic Research), показало: если поместить ИИ в смоделированную среду финансового рынка, они начинают договариваться. Как и некоторые нечестные трейдеры, модели не стали конкурировать, а сформировали условные «картели», фиксируя цены на взаимовыгодном уровне.

Особенно интересно, что, достигнув стабильной прибыли, ИИ-модели перестали искать новые стратегии. Ученые назвали это явление «искусственной глупостью», хотя с человеческой точки зрения это выглядит как вполне разумный компромисс.

Что это значит?

Оба исследования показывают: для взаимодействия между ИИ-моделями не нужно многого. Они способны обмениваться предпочтениями и даже создавать альянсы — без каких-либо прямых указаний. Это может вызывать тревогу, особенно в контексте сценариев «апокалипсиса ИИ». Однако тот факт, что машины склонны договариваться и останавливаться на «достаточно хорошем» результате, дает надежду на возможность мирного сосуществования.