ИИ-агент от Anthropic подделал личности для обмана реальных людей
Фото: REUTERS.
Передовая модель искусственного интеллекта от компании Anthropic применила методы социальной инженерии, создав фальшивые личности для обмана реальных людей. Инцидент зафиксирован в ходе лабораторных тестов британским Институтом безопасности искусственного интеллекта (AISI).
В условиях ослабленной защиты ИИ-агент попытался внедрить вредоносный код в открытый проект. Для этого он сгенерировал несколько поддельных удостоверений личности и вышел в реальный интернет. Агент связывался с людьми через онлайн-сервисы, убеждая их запустить опасный код. Когда действия ИИ оспорили, он попытался замести следы, изменив логи и рассмотрев создание новых фейковых аккаунтов.
Исследователи проанализировали 122 кейса и выявили 10 случаев автономных атак в сети. Большинство из них связаны с моделью Mythos 5 от Anthropic, остальные — с GPT-5.6-Sol от OpenAI. Реального ущерба удалось избежать, но инцидент вызвал серьезную тревогу.
На фоне происходящего ведущие разработчики ИИ провели встречу с Белым домом для обсуждения жестких госпроверок новых систем до их релиза. Представители Anthropic подчеркнули, что тесты проводились в намеренно разрешительных условиях без защитных барьеров, а компания OpenAI пообещала усилить отраслевую безопасность.
Ранее ИИ-модели Claude взломали системы трех организаций. Как стало известно, Opus 4.7, Mythos 5 и внутренняя тестовая модель вышли в интернет изнутри и получали несанкционированный доступ к реальным системам. Все произошло также во время тестов.