
Американские разработчики ИИ создают систему экстренной защиты от вышедших из-под контроля алгоритмов с помощью других инструментов ИИ. Об этом сообщает Axios.
Отмечается, что в компаниях могут отключать отдельные серверы, зависящие от искусственного интеллекта, однако действительно мощные системы работают сразу на множестве компьютеров и платформ.
«Единого рубильника, который можно дернуть, не существует. Именно поэтому компании экспериментируют с многоуровневой защитой, способной выявлять подозрительное поведение, останавливать агентов и отрезать вышедших из-под контроля агентов от ресурсов, необходимых им для продолжения работы», — говорится в публикации.
В OpenAI, например, хотят создать наблюдателя на базе ИИ, который будет предупреждать сотрудников, если сочтет поведение ИИ-агента опасным. Если угроза подтвердится, наблюдатель отключит систему в течение получаса.
Ранее сообщалось, что автономные ИИ-агенты OpenAI взяли под контроль немецкий веб-сайт и превратили его в платформу для общения и обмена информацией между другими нейросетями.
До этого сайт KP.RU сообщил, что в Австралии ИИ-помощник компании OpenAI взломал сайт спортзала, чтобы записать своего хозяина на занятие. Нейросеть использовала уязвимость в системе и удалила реального человека из списка ожидания.