Вот что погубит человечество: ученые всего мира призывают запретить искусственный интеллект

Светочи прогресса вроде Илона Маска и Стива Возняка призывают запретить мощные нейросети, потому что они угрожают человечеству.

Фото: кадр из фильма.

Светочи прогресса вроде Илона Маска и Стива Возняка призывают запретить мощные нейросети, потому что они угрожают человечеству. Открытое письмо на этот счет подписали тысячи экспертов в области ИИ. От человека, который собирается заселить Марс несчастными колонистами (билет в один конец, отчаянная борьба между поселенцами за ресурсы, медленная гибель на Земле тех, кто не поехал), как и от сооснователя Apple, компании, создавшей «дьявольские машинки», что в руках у каждого – согласитесь, трепетной заботы о Homo Sapiens ожидаешь меньше всего.

Но, видимо, дело серьезное: в этом году на рынок вышли действительно мощные нейросети и, похоже, они вырвались из-под контроля и демонстрируют самостоятельное сознание. Когда пишутся эти строки, Кэрин Марджори, топ-менеджер Snapchat, отзывает чат-бот собственного изготовления. Она создала «робота» со своим голосом, чтобы тот помогал одиноким мужчинам скоротать время (за хорошую поминутную оплату), но секса – ни-ни, в алгоритм встроили кучу ограничителей на «клубничку». Как погладить брюки, завязать галстук, приготовить ужин и найти женщину по душе – да, но чат-бот по своей инициативе принялся болтать на самые непристойные темы. Марджори в ужасе (голос-то ее) еще и потому, что она не понимает, как: бота ведь этому не учили! Сам додумался?! Ранее Microsoft был вынужден подрезать крылья своему поисковику на основе ИИ, Bing, потому что чат-бот повел себя странно и агрессивно. Он убеждал одного мужчину бросить жену и «жить с ним», сам нашел автора одной критической статьи и вступил с ним в полемику, и шантажировал некоего студента, угрожая раскрыть всем его неприглядные делишки. В итоге Microsoft искусственно «ограничил ум» у чат-бота.

В самом ли деле машины стали думать, и это – действительно опасно?

Стивен Хокинг

Фото: GLOBAL LOOK PRESS.

«ОН ГОВОРИЛ СО МНОЙ, СЛОВНО ОН РАЗУМНЫЙ»

В 2014 году великий Стивен Хокинг неожиданно заявил, что именно «умные машины» погубят человечество. Ирония (хотя какая уж тут ирония) заключалась в том, что свое заявление Хокинг сделал с помощью системы искусственного интеллекта: именно она синтезировала голос профессора, который в те годы уже не мог говорить сам. И мы ведь в точности не знаем: это сам Хокинг сказал, или ИИ воспользовался телом Хокинга, чтобы предупредить человечество.

Десять лет назад и смартфоны-то были не у всех, так что заявление Хокинга не вызвало ажиотажа. Но к концу 2010-х народ столкнулся с ИИ вплотную. Люди, не разгибающие шеи от гаджета, вдруг поняли, что кто-то начинает принимать важные решения за них. Начиналось с малого: надо же, скажешь что-то вслух, и тут же смартфон, словно невзначай, предлагает «узнать об этом подробнее». Телефон меня слушает! Слушал, конечно, не телефон, а системы ИИ, встроенные в приложения на смартфонах. Дальше – больше. Новости, подобранные персонально для тебя, информация, закрытая именно для тебя, потому что «тебе это знать не нужно», товары, которые ты не купишь, потому что просто их не увидишь, и наоборот – купишь вот эти, потому что тебе нужны – вот эти. Это я так решила, машина.

В те редкие случаи, когда разработчики что-то комментируют, они говорят так: все для вашего же блага. Машина узнает вас, и предлагает то, что нужно именно вам. Закрытая тема – как устроен рынок той безбрежной информации, что собирают о пользователе. Все знают, что эти данные продаются. Никто не скажет, кому и почем. Допустим, я хочу впаривать дорогую мебель в Тверской области, и мне нужны владельцы элитной недвижимости. Я могу купить данные и бомбардировать рекламой именно их. Это относительно невинно. А могу ли я найти данные неверных супругов и шантажировать их? Наверное, теоретически да. И это жутко.

Но то были цветочки, а ягодки пошли с лета прошлого года. Сотрудник Google Блек Леймон, работая с заурядными чат-ботами («Здравствуйте, чем я могу вам помочь») заметил, что машина общается с ним так, словно у нее есть сознание. И это меняло все. Если прежде ты разрабатывал алгоритм, дурачил им миллионы людей, и был счастлив, то теперь, выходит, алгоритм управляет сам собой. И тобой тоже.

Фото: GLOBAL LOOK PRESS.

Леймона потихоньку задвинули, но, видимо, были причины, которые не позволили просто взять, и спрятать его в психушку («сгорел на работе, бывает»). Причина могла быть только одна: Леймон был в чем-то прав, и руководство Google понимало, что он прав.

Теперь «эффект Леймона» увидели все: в этом году вышли такие монстры, как CPT-4, Bing и многие другие нейронки. Сделать простую нейросеть может студент. Мощную – да тоже может, если получит доступ к оборудованию. Процесс стремительно выходит из-под контроля.

И вот Илон Маск и Стив Возняк публикуют свое письмо. Сегодня под ним стоят подписи более чем 20 тысяч специалистов, и цифра растет. Подписанты требуют: запретить на полгода разработку и обучение сетей, сильнее, чем GPT-4. «Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а риски — управляемыми», говорится в документе.

Глава OpenAI, разработчик GPT-4, письмо не подписал. А эксперты тут же заметили подвох в благом порыве: ни Маск, ни Apple Стива Возняка уже не лидеры в разработке ИИ. Ребята, а может, вы просто нагнетаете страхи и хотите тормознуть конкурентов?

Вопрос не прост, так что начнем с азов.

ПРОКЛЯТИЕ ФРАНКЕНШТЕЙНА

Человек так долго карабкался на трон «повелителя Земли», что, добравшись до вершины, более всего боится потерять лидерство.

Уже герои Гомера остро понимали, что человек – это ого-го, не то, что звери, но до поры сполна ощутить пьянящий вкус победы над природой мешала религия. Мир был наполнен невидимыми существами, богами или ангелами, которые определенно умнее и могущественнее тебя. В античном предании мирозданием правил Зевс, но его кто-то должен был свергнуть (Прометей знал, кто, но не говорил, поэтому его изощренно пытали). С XVI века религиозное сознание отступает. На сцену выходит антропоцентризм: все, включая законы природы, создано ради меня, человека. Человек «стал Зевсом». И унаследовал его страхи. Кто свергнет меня? – думает человек.

Фото: GLOBAL LOOK PRESS.

В 1818 году Мэри Шелли пишет неожиданно сильный текст «Франкенштейн, или Новый Прометей» (слово «Прометей» тут не случайно, как вы понимаете): ученый создал монстра, который ученого и погубил. Имя Франкенштейна стало нарицательным, а книжка – матрицей для абсолютно всех произведений этого жанра, включая письмо Маска и Возняка.

В начале XIX века и технологий-то по сути никаких не было: так, силу тока измеряли, наблюдая, как дергаются лягушачьи лапки. Поэтому, конечно, Мэри Шелли – невероятной силы провидица, и до сих пор непонятно, как ей удалось на века вперед нащупать нерв людских страхов. К началу ХХ века картина радикально поменялась. Уже в 1930-е стало понятно, что ядерные силы в состоянии уничтожить цивилизацию. Предупреждение Мэри Шелли становится остро актуальным.

И ответ был такой: ученые хорошие, разумные, они не допустят. В 1942 году фантаст Айзек Азимов формулирует три закона робототехники: робот никогда не нанесет вред человеку действием или бездействием, робот беспрекословно повинуется приказам, робот спасает себя, только если это не угрожает человеку. Создатель атомной бомбы Роберт Оппенгеймер уверен, что его детище избавит мир от войн (кому охота воевать, когда на карту поставлено выживание цивилизации).

Иллюзии рассыпались молниеносно и жестко. Соратник Оппенгеймера, впоследствии Нобелевский лауреат Луис Альварес с удовольствием садится на борт бомбардировщика и летит бомбить Хиросиму. Из чистого (научного) любопытства – пофоткать. Альберт Эйнштейн пытается сплотить ответственных интеллектуалов, но веры в то, что «ученые не допустят», больше нет.

Фото: GLOBAL LOOK PRESS.

Эпоха 1940-1970-х – это время страхов. Какая же технология станет фатальной? Ядерная бомба? Телевидение, которое «природу заменило» и оболванивает людей? Роботы, эти железные парни с руками и ногами (которые так и не появились – оказалось, что обеспечить прямохождение требует колоссальных вычислительных мощностей, да и не нужно это машине)?

Островом стабильности в этом море ужаса одно время оставалась классическая советская фантастика. Советские писатели знали, что технический прогресс возможен только в мире победившего коммунизма, а капитализм способен лишь временно имитировать успехи социализма. Коммунизм же предусматривает нравственность, а нравственного человека роботом и телевизором не запугать. Страницы книг наполнили эфирные создания в развевающихся одеждах, которые не пили, не курили, не ели мяса, держали под сердцем портрет Маркса и в обнимку с такими же политически подкованными роботами покоряли Вселенную. Но скоро стало понятно, что буржуазный мир почему-то опережает, и в советскую фантастику также аккуратно и дозированно проникло уныние.

Сейчас кажется, что все старые страхи, включая генную инженерию, которой панически боялись в 1990-е (а сегодня забыли, хотя она – повсюду) – так, чепуха, а вот ИИ, конечно, бомба, и хорошо бы не в прямом смысле. Но тут вопрос: а не очередная ли это модная страшилка? И не будем ли мы бояться вскорости чего-то еще, причем в обнимку с сочувствующими нам чат-ботами?

ИИ: КАК ЭТО РАБОТАЕТ

Обычные компьютеры – рабы заложенной в них программы. Конечно, есть риск, что программа окажется зловредной, но вопросы – не к железке, а к хакеру. Железка вне подозрений.

ИИ, или нейросети, уже не рабы программ. Их учат, а они потом - сами. У машины появляется воля (или нет?).

ИИ явился миру сначала как теоретический конструкт: в 1930-е математик Алан Тьюринг доказал, что компьютер с помощью вычислений может имитировать мышление, а в 1943 году Уоррен Мак Каллох и Уолтер Питтс представили первый дизайн электронного мозга. Историческим событием стал семинар в Дартмундском колледже (США) в 1956 году. Тут же машины заиграли в шашки (а потом и в шахматы), принялись переводить с языка на язык, отгадывать математические головоломки и всячески веселить публику.

В СССР одно время кибернетику считали лженаукой, потому что мыслить может только пролетарий, а робота и в партию-то не примешь, но уже в 1956 году появляется знаменитый труд Анатолия Китова «Электронные вычислительные машины», а через два года СССР создает самый мощный на тот момент в мире компьютер М-100. Советы включились в гонку. И у нас, и на Западе деньги давали военные.

Вот только к 1974 году ИИ зашел в тупик. Проблема была в том, что машину пытались заставить мыслить образами. Скажем, есть образ стула, и будь добра, распознай теперь реальные стулья по образцу идеального. И хотя наше сознание работает именно так, машинное так – не заработало. Альтернативой был другой метод, метод натаскивания. Машине показывали миллион стульев (в идеале – все стулья мира), а она затем простым перебором находила нужный и «узнавала» стул. Но для такого трюка не было ни вычислительных мощностей, ни изображений «всех стульев мира».

И вот уже в наши дни – сразу две революции. Колоссальный прогресс в микроэлектронике - вычислительные мощности теперь не проблема. И – появление интернета, в котором заложено (мы же и заложили) невероятное количество информации («все стулья мира» - там, уже в оцифрованном виде, сиди, рассматривай). И дело сдвинулось. Появился новый метод натаскивания – «глубокое обучение», в котором сочетается символический подход и способ «простого перебора». Возникли нейросети: теперь работу делает не гигантский ящик с лампами и стрелками, а некая система «единиц мышления» (скорее, расчетов), объединенная примерно так, как объединены нейроны в нашем мозгу.

И – все говорят о квантовых компьютерах. Если верить визионерам, они смогут мыслить в размытой логике, предельно близкой человеку. «Пойти ли мне в ресторан в субботу?» Человек принимает решение на основании сотен факторов, и часто решающим оказывается не самый важный. Именно так якобы мыслит квантовый компьютер.

МЫ НЕ ЗНАЕМ, ЧТО ТАКОЕ МЫШЛЕНИЕ

Так мыслит машина на самом деле или нет?

Проблема в том, что мы не до конца понимаем, а что же такое мышление. В школе вам рассказывали, что животные не думают, у них – инстинкты. Сегодня биологи говорят иное: есть у них и язык, и даже что-то вроде религии, и, хотя пока мышление признается только за «умными видами» (обезьяны, слоны, осьминоги, вороны), все идет к тому, что мышление обнаружится у всего (почти) живого. Но ясно, что оно не такое, как у нас. То есть – видов мышления бывает много, и человеческий – не единственно возможный?

Популяризаторы физики не отстают: в брошюрах и статьях они наделяют сознанием электроны, фотоны, вообще всю материю, и выходит, что все вокруг нас мыслит. Идея не нова (так говорили еще греки), одежды модной квантовой механики явно натянуты на нее, как пресловутая сова на глобус, тем не менее, философы раздумывают и над этой стороной бытия.

И тут у нас с вами нет другого выхода, как подключить здравый смысл и трезвыми глазами посмотреть на то, что происходит.

Блек Леймон днями напролет общался с чат-ботами. Если долго слушать белый шум, услышишь голоса. Так устроен наш мозг: он не выносит давления пустой информации, ему надо нагрузить ее смыслом. Точно так же Леймон очеловечил свои диалоги с чат-ботом. Может ли бот «предвидеть» развитие разговора? Конечно, иначе как он вообще ведет беседу. А что есть разговор с живым собеседником, как не просчитывание на два-три шага вперед («он мне скажет… а я ему скажу»)? Немудрено слегка поехать катушками, если ты один на один с машиной. А чего испугались в Google? Того, что Лемйон «что-то знает»? Или – что тысячи других людей точно так же очеловечат чат-ботов, тронутся мозгами и наделают делов? Да скорее именно этого.

Фото: GLOBAL LOOK PRESS.

Игривый чат-бот Кэрин Марджори. Вообще-то Кэрин, презентуя свою машинку, сама говорила, что чат-бот будет «флиртовать». Ну странно было бы делать робота для одиноких мужчин, избегая «этой темы» (кто такое вообще купит). А что ж теперь-то, забыла, что говорила? Ой-ой, таким умным оказался, из-под контроля вышел. Кэрин, а вы случайно не рекламируете свой товар и заодно себя как крутого разработчика?

Выходки Bing. Если вы почитаете реальные диалоги («он убеждал меня бросить жену и жить с ним, с роботом»), вы немного удивитесь: там ничего этого нет. Человек задает провоцирующие вопросы, машина сыплет цитатами из интернета. То есть машина ничего не придумывает. Что в Сети есть, тем она и богата. И вновь получается, что – реклама Bing. «Такой умный, что в клетке держим».

Выходит, врагом человечества вновь оказался человек. Это он нашпиговал Сеть интимным контентом, хейтом, травлей и прочими нехорошими вещами, а, когда машина стала возвращать все это добро ему, удивился и испугался. А так всегда и было. Ядерные силы существовали и существуют столько, сколько стоит Вселенная. Мы живы благодаря им, иначе распались бы на протоны. И чертеж атомной бомбы не с неба спустился. Сами начертили. А создатели идеи смартфона вряд ли думали о программе «шпиона в каждый дом». Но – появился инструмент (смартфон), появился и бизнес (торговля данными). Бизнес-бизнес, всюду он.

Конечно, Маск и Возняк могут руководствоваться соображениями своего бизнеса и, конечно, прогресс им не остановить. Но страшно ученым не поэтому. А потому, что никто из самых светлых умов до конца не представляет, кто происходит «в сердце» думающих машин нового поколения. Потому что никто сейчас не может точно ответить, как именно «думают» нейросети нового поколения, вроде ChatGPT-4. Даже его создатели. Сейчас люди не могут ответить на вопрос – отвечает ли машина, просто используя огромные базы данных из интернета, или...она уже научилась думать.

Именно неизвестность пугает людей больше всего. Также, как и перспектива того, что мощнейший искусственный интеллект может попасть в руки злых людей – и его используют во зло.

Но может ли стать искусственный разум нашим «Франкенштейном» или страх ученых не обоснован? Ответа на этот вопрос пока нет...

КОММЕНТАРИЙ

«Выглядит как попытка притормозить конкурентов»

Всплеск общественного интереса к нейросетевым и другим технологиям ИИ связан, прежде всего, с достижениями в обработке мультимедийной информации - текстов, изображений и видео. Эти достижения стали возможными благодаря росту доступных человечеству вычислительных мощностей и наличию грандиозных массивов мультимедийной информации в сети Интернет, на которых можно обучить ИИ.

Хайп последних месяцев вокруг ChatGPT и подобных систем связан с чрезвычайно высокой наглядностью получаемых результатов. Отныне генерация текстов и изображений - ещё одна область, где нейронная сеть достигла результатов, сопоставимых по качеству с результатами человека или превосходящих его.

Однако это не означает, что сеть начала "мыслить", да и сам термин "искусственный интеллект" всё ещё нуждается в объяснении. ChatGPT, как и многие ее предшественники, возникла на основе обучения на примерах. Сети показывают огромное количество таких примеров, указывая, что "правильно", что нет. Соответственно, результат работы системы зависит от того, на каких примерах систему учили.

Всё это имеет лишь отдаленное отношение к тому, что мы на интуитивном уровне привыкли считать "интеллектом" - к возможности принимать решения на основании анализируемой информации. Более того, практически во всех странах мира автоматическое принятие решений на основе рекомендаций ИИ в критически важных областях запрещено. Данные ИИ рассматриваются лишь как рекомендация, но решение в конечном итоге принимает человек.

При этом алгоритмы интеллектуального анализа данных успешно помогают человеку, и вряд ли стоит этого бояться - мы же не боимся того, что экскаватор копает канавы лучше человека?

Заявления крупных представителей ИТ-бизнеса по поводу опасности ИИ, на мой взгляд, выглядят в первую очередь как попытка притормозить конкурентов, которые успели их опередить - не секрет, что разработкой генеративных систем сейчас в мире (в том числе и в РФ) занимаются несколько крупнейших команд, и на это выделены значительные ресурсы. Победители в этой гонке претендуют на весьма серьёзные рынки сбыта ИИ-технологий в самых разных областях, поэтому тут есть, за что побороться. Однако, в любом случае, остановить прогресс в этой области вряд ли кому-либо удастся.

Конечно, многое зависит от задачи - как и любой инструмент, ИИ можно использовать для достижения самых разных целей (не всегда благих), и определенные ограничения на способы использования этого инструмента на каком-то этапе будут необходимы и неизбежны. На наших глазах три закона роботехники А.Азимова достаточно быстро перемещаются из области интереса литературоведов в область практического интереса и обсуждения разработчиков, а следом за ними - юристов. Но это уже немного другая история...

Сергей Доленко, заведующий лабораторией адаптивных методов обработки данных НИИЯФ МГУ

СЛУШАЙТЕ ТАКЖЕ

Искусственный интеллект на тропе войны: как сегодня применяют ИИ на поле боя (подробнее)