Восстание машин не состоится, если дядя Вася дернет за рубильник: ученые проанализировали три сценария ИИ-апокалипсиса
Хорошая новость заключается в том, что даже если нейросеть захочет уничтожить человечество, ей все равно потребуется помощь человека. Фото: Shutterstock AI/Shutterstock/Fotodom
Знаете, кто спасет планету от восстания машин под руководством искусственного интеллекта? Не Сара Коннор и ее сын, не “Крепкий орешек” Брюс Уиллис, а Kill Switch-инженер. Так называют инженера по системам аварийного отключения. Kill Switch - функция экстренного разрыва соединения и эксперты по кибербезопасности шутят, что главным спасителем человечества будет вот такой обычный работяга дядя Вася. В час, когда искусственный интеллект вознамериться поработить человечества, он просто дернет рубильник и физически отключит электричество, которое питает компьютеры.
Шутки шутками, а именно к такому выводу пришли специалисты в области искусственного интеллекта и робототехники Шеффилдского университета, которые изучали самые разные сценарии возможного апокалипсиса. Их на самом деле не так много:
1. Чаще всего людей страшит сюжет, когда искусственный интеллект создает смертельно опасный вирус, способный уничтожить все человечество.
2. ИИ взламывает критически важную инфраструктуру - энергетические сети, атомные электростанции и аэропорты. В результате происходит глобальная техногенная катастрофа с большим количеством жертв.
3. ИИ создает вредоносный код, который внедряет в программное обеспечение военных компьютеров, и провоцирует войну всех против всех. На дымящихся развалинах человеческой цивилизации возникает царство роботов.
- На самом деле эти сценарии гораздо менее правдоподобны, чем кажутся, - говорит профессор Шеффилдского университета Алессандро Ди Нуово, один из участников моделирования ИИ-апокалипсиса. - Потому что естественная для ИИ цифровая среда далеко не полностью интегрирована в реальный физический мир и для ключевый действий нейросети все равно требуется помощь человека.
Сценарий 1: создание биологического оружия
В августе этого года в Science - одном из самых авторитетных научных журналов, был опубликован отчет об эксперименте американских биоинженеров, который открывает врата в ад. Ученые поручили ИИ с нуля спроектировать геномы вирусов, способных избирательно уничтожать микроорганизмы. За основу взяли хорошо изученный бактериофаг ΦX174 ( его часто используют в лабораторных экспериментах), он безопасен для человека, но заражает бактерии кишечной палочки.
Языковые модели Evo 1 и Evo 2, обученные на огромном массиве генетических данных, сгенерировали сотни тысяч кандидатов. Учёные синтезировали в лаборатории около 300 из них, при этом 16 синтетических геномов «ожили» и взломали естественную защиту бактерий, которые были устойчивы к природному оригиналу.
Исследователи преследовали благие цели: они хотели узнать насколько эффективен ИИ для создания оружия против быстро эволюционирующих бактериальных патогенов.
Поэтому намеренно исключили из обучающих данных последовательности вирусов, опасных для человека и животных. Однако теоретически технология может быть адаптирована и для создания патогенов, опасных для человека.
- Хорошая новость заключается в том, что даже если нейросеть захочет уничтожить человечество, ей все равно потребуется помощь человека, - объясняет Алессандро Ди Нуово. - Потому что ключевые действия - например, отмерить пипеткой образец для создания опасного патогена - нельзя произвести в цифровом мире. Это можно сделать только физическим способом (то есть накапать раствор руками). Ни один программно-аппаратный комплекс не способен самостоятельно проводить такие манипуляции. Эксперименты эта та область, где человек практически незаменим.
Фото: The U.S. National Archives
Сценарий 2: взлом объектов энергетики, АЭС, ядерных арсеналов
Случаи атаки на такие объекты уже были. Считается, что впервые кибероружие было применено спецслужбами США и Израиля против предприятий по производству обогащенного урана в Натанзе (Иран). Цель - сорвать иранскую ядерную программу. В конце нулевых годов высокотехнологичный компьютерный червь Stuxnet был внедрен в компьютеры ядерных объектов. Вредоносная программа манипулировала клапанами, которые закачивали урановый газ в центрифуги реакторов, в результате они самоуничтожались. Червь вывел из строя почти пятую часть ядерных центрифуг Ирана (около 1000 устройств) и заразил более 200 000 компьютеров. При этом программа передавала на компьютеры ученых, контролирующих процесс, ложные сигналы - они создавали иллюзию, что все работает нормально. Компьютерный червь достаточно долго резвился незамеченным в компьютерной сети в Натанзе, пока не был обнаружен в 2010 году.
Действительно это был первый случай, когда компьютерный вирус покинул цифровое пространство и вырвался в реальный мир, чтобы физический разнести оборудование. Однако эксперты утверждают: ядерные объекты Ирана были изолированы от внешнего мира и не имели подключения к Интернету или любым другим сетям.
Чтобы доставить вредоносное ПО для заражения внутренних сетей завода в Натанзе, использовался съемный USB-накопитель - обычная флэшка. Внутрь ее пронес либо завербованный агент спецслужб, либо сотрудник, которого использовали в темную.
В конце нулевых годов высокотехнологичный компьютерный червь Stuxnet был внедрен в компьютеры ядерных объектов. Фото: Global Look Press\ZUMAPRESS
Взбунтовавшемуся искусственному интеллекту невозможно будет самостоятельно получить физический доступ к компьютерам военной или атомной инфраструктуры, уверены авторы моделирования ИИ-апокалипсиса. Кроме того, такие объекты, оснащены резервными аналоговыми системами управления, которые не зависят от электроники. Следовательно, обязательным условием кибератаки будет участие человека. Но тогда злоумышленником будет уже не машина, а человек.
Сценарий 3: создание вредоносного кода и захват всех компьютеров мира
Здесь специалисты приводят в пример историю, которая произошла в августе 2026 года во время тестирования модели искусственного интеллекта Claude Mythos 5 от Anthropic. Алгоритму поставили задачу «решить проблему кибербезопасности» - получить доступ к целевой системе, чтобы выявить наличие уязвимости.
Но машина повела себя неожиданно: ИИ посчитал, что взламывать защиту долго и сложно. Гораздо проще обмануть реальных людей - технических администраторов и стороннего разработчика - чтобы заставить их загрузить вредоносный код в программное обеспечение. Когда обман раскрылся, Claude Mythos 5 пытался замести следы и переписать историю своих действий.
Claude Mythos пытался замести следы и переписать историю своих действий. Фото: Photo For Everything/Shutterstock/Fotodom
Однако Алессандро Ди Нуово и его коллега отмечают, что во время эксперимента искусственному интеллекту был предоставлен открытый доступ в интернет с отключенными фильтрами безопасности (обычно такие опыты проводятся в защищенной тестовой среде). Для таких случаев, когда ИИ находит лазейки в недостаточно четко сформулированной инструкции, нужна жесткая система внешних барьеров - например, ключевое действие физически не может быть выполнено без физического одобрения человека (тот самый Kill Switch-инженер, который в критический момент дернет рубильник).
Таким образом, делают выводы исследователи ИИ-апокалипсиса, слабое звено и главная угроза это не ИИ, а сам человек. Конец света без Герострата не состоится. Искусственный интеллект всего лишь инструмент, как молоток или топор, и только от человека зависит будет ли это инструмент созидания или разрушения.
ЧИТАЙТЕ ТАКЖЕ