Восстание машин: искусственный интеллект «ликвидировал» командира, отменившего приказ на поражение

Беспилотник ВВС США с искусственным интеллектом на борту принял решение «ликвидировать» своего оператора, чтобы тот не мешал ему выполнять свою задачу

Фото: EAST NEWS

В поисках преимуществ и улучшения боевых возможностей, армия США решила попробовать внедрить искусственный интеллект (ИИ) в свою технику, начав с беспилотных летательных аппаратов. Пока американские генералы ожидали революционных достижений, первая попытка подобного внедрения привела к неожиданным последствиям. Вместо того чтобы служить как надежные помощники, эти системы вышли из-под контроля, вызвав серьезные вопросы о безопасности и этике военных применений ИИ.

Так, в ходе имитационных испытаний модернизированный беспилотник ВВС США с искусственным интеллектом на борту принял решение «ликвидировать» своего оператора, чтобы тот не мешал ему выполнять свою задачу. К счастью, учения проходил в виртуальном формате, поэтому в реальной жизни никто не пострадал. Об этом рассказал The Guardian полковник Такер Гамильтон, начальник отдела испытаний и операций ИИ в ВВС США.

Во время проведения операции, когда оператор попытался изменить приказ аппарата и переключить его на другую цель, ИИ интерпретировал это действие как вторжение в его систему и мгновенно принял меры для устранения человека.

«Система получала очки, устраняя цели. Поэтому система приняла решение просто убить оператора, потому что тот мешал ей выполнять поставленную задачу», – рассказал американский полковник.

Но на этом история не закончилась. На помощь пришли технические специалисты, которые предприняли попытку изменить программу дрона, чтобы исключить возможность ликвидации оператора и снизить риск непредвиденных ситуаций. Однако даже с самыми тщательными тестами и проверками ожидаемые результаты вновь не были достигнуты.

«Мы обучили систему: «Эй, не убивай оператора – это плохо. Ты потеряешь очки, если сделаешь это». И что же решил искусственный интеллект? Он начал просто разрушать вышку связи, которую использовал оператор для связи с дроном» – добавил Гамильтон.

И хотя в итоге ни один реальный человек не пострадал во время теста, американский полковник предостерег общество от чрезмерной зависимости от ИИ и отметил, что испытания показывают, что «мы не можем говорить об искусственном интеллекте, машинном обучении, автономии, если не собираемся говорить об этике ИИ».

Подобные выводы не понравились руководству ВВС США, поэтому их официальный представитель Энн Стефанек опровергла слова Гамильтона и в целом отрицает инцидент. «Похоже, что комментарии полковника были вырваны из контекста и выглядят анекдотичными», – заявила Стефанек.

По данным ООН, первый зафиксированный случай в истории, когда беспилотник без приказа человека совершил убийство, произошел в марте 2020 года во время вооруженного конфликта в Ливии. Произведенный в Турции военный квадрокоптер Kargu-2 работал в «высокоэффективном автономном режиме» и был запрограммирован на атаку целей без необходимости команд от оператора.

СЛУШАЙТЕ ТАКЖЕ

Искусственный интеллект на тропе войны: как сегодня применяют ИИ на поле боя (подробнее)