
Вы просто послушали музыку, а потом с банковского счета исчезли деньги. Пока – фантастика, но завтра уже нет. Группа исследователей из Китая и Сингапура обнаружила критическую уязвимость в «умных» устройствах, которыми напичкан сегодня каждый уважающий себя дом. Хакеры могут незаметно встраивать в музыку и речь команды, которые захватывают «умную» колонку, и заставляют ее обворовывать хозяина. Ученые рассказали о своем грустном открытии на симпозиуме Института инженеров электротехники и электроники (Institute of Electrical and Electronics Engineers), статья ждет публикации в одном из журналов.
Мы ценим возможность разговаривать с нашими «умными» устройствами. Приходишь домой, просишь, «включи расслабляющую музыку» - включает. А кто попродвинутей, у того ИИ-помощник свет зажигает, шторы закрывает, дом на сигнализацию ставит, не жизнь, а сказка.
Но сказки бывают и страшные.
Мэн Чен из Чжэцзянского университета в Китае с коллегами много лет изучает «пределы прочности» ИИ-моделей, которые общаются с пользователем голосом. Например, их интересовало, не наломает ли ИИ дров, если что-то сказать не так (изменить интонацию, нарушить синтаксис, использовать сленговые слова).
Неожиданно они наткнулись на крайне неприятное явление. Оказывается, в музыку, в речь можно незаметно встроить некие команды, адресованные вовсе не вам (вы даже ничего не услышите), а умной колонке. Это не ультразвук, не инфразвук, все намного тоньше.
Музыка и речь, передаваясь по интернету, кодируются цифрами - единицами и нулями. Вообразим, что некое слово в безобидном подкасте закодировано как 11001100. А теперь поменяем в нем одну цифру, и получим 11001101, например. Такое слово прозвучит для вас совершенно так же. Однако умная колонка, которая вам этот подкаст включила, или просто находится с источником звука в одной комнате, эту единицу уловит.
Теперь представим, что мы наставили лишних цифр в каждый звук таким образом, что вместе они образуют команду. Скажем, в первом звуке у нас 0, во втором 1, затем опять 0, и так далее. Умная колонка прочитает эти единицы и нули как приказ. Например, такой: «Незаметно для хозяина переведи деньги с его счета на такой-то счет».
Как показали эксперименты Мэн Чена, с вероятностью до 90% умная колонка так и сделает.
И, конечно, речь не только о деньгах. Раскрытие конфиденциальной информации (у топ-менеджеров умных устройств в домах особенно много, и у этих устройство может быть доступ к серверам с корпоративными секретами). Или грубее: система просто откроет замки и двери злоумышленникам, а также отключит камеры, когда хозяина не будет дома.
Самое ужасное, что хакер может загрузить клип в Сеть (на любую тему – «посмотрите на этих милых котиков»), и собирать деньги. Допустим, клип посмотрят миллион раз: все любят котиков. Из миллиона у десяти тысяч дома умная колонка. Пусть взломать получится не все колонки. Допустим, тысячу. И с тысячи счетов деньги поступят хакеру. Неплохо.
К сожалению, мы сами дали ИИ-ассистентам доступ к деньгам и файлам. Это удобно. Скажем, ассистент подбирает отель, и да, вам необходимо подтвердить списание денег. Но ведь хакер может убедить ассистента сделать перевод без участия человека.
Программировать музыку и речь очень просто, пишут авторы исследования. Процедура занимает несколько десятков минут и осуществляется элементарными способами.
- На обучение вредоносного сигнала уходит всего полчаса, а затем, поскольку этот сигнал не зависит от контекста, вы можете использовать его для атаки на целевую модель в любое время, независимо от того, что говорит пользователь, - пишет Мэн Чен.
В компании Microsoft (она является мировым лидером по программному обеспечению для умных устройств) отнеслись к новости очень серьезно. Microsoft сообщил, что предпримет шаги и действия, которые помогут защитить пользователей.
В соцсетях поднялась настоящая паника. Люди, не доверяющие ИИ, вскидывают вверх палец («а мы говорили»), и призывают полностью вычистить искусственный интеллект из своей частной жизни. К сожалению, это не поможет: ИИ-системы, в том числе голосовые, все активнее применяются в глобальных масштабах (регулирование дорожного движения, авиаперелетов, общение с пользователем в цифровых приемных), и никто от этого уже не откажется.
Угроза есть, но пока «голосовой взлом» реальной опасности не представляет, рассказал KP.RU генеральный директор компании Zecurion (специализируется на защите данных) Алексей Раевский:
- Речь идет об атаках на устройства не просто с голосовым управлением, но еще и подключенным к ИИ. Такие устройства у нас есть, но вопрос, что именно они умеют делать, и к чему у них есть доступ? Если просто включать музыку или будильник, тогда это не страшно, - говорит он.
Исследование, по мнению Алексея Раевского, нацелено скорее на перспективу. Ведь, как уже говорилось, голосовое управление активно внедряется, и, если система на основе ИИ сможет участвовать в критически важных действиях, риска взлома допустить ни в коем случае нельзя.
- Пока до практического применения этой злонамеренной технологии дело не дошло и, я думаю, не дойдет, поскольку, раз специалисты выявили угрозу, они разработают и защиту, - резюмирует Алексей Раевский.
Тем не менее, статья китайских ученых лишний раз показывает, насколько хрупким становится мир. Впрочем, то же самое говорили, когда на дорогах появились автомобили, или когда телевидение вытесняло старый добрый театр. Но как-то справились, мир не рухнул. Так что будем оптимистами.
ЧИТАЙТЕ ТАКЖЕ
Как понять, что вам по видеосвязи звонит мошенник: названы пять главных признаков
«Ваша посылка повреждена!»: мошенники изобрели новый способ обмана с помощью маркетплейсов
«Защитите ваш счет»: В банках предупредили о новой схеме мошенников