В ВТБ знают, как бороться с фантазиями нейросетей

Фото: NicoElNino/Shutterstock/Fotodom

Чем опасны выдумки ИИ?

Бывают ситуации, когда алгоритмы генерируют ложные сведения, ошибочные цифры, или ссылаются на несуществующие источники информации. Проверить, правда это, или вымысел, очень сложно. Особенно, когда фейк запускается в сеть и начинает тиражироваться, вызывая каскадный эффект. Подобные погрешности не просто осложняют обработку данных, но и несут в себе серьезную угрозу для деловой репутации и финансовой стабильности компаний.

Как объяснил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов, возникает это нередко из-за того, что нейросеть не проверяет факты, а подбирает наиболее вероятный ответ.

- Снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля - это внимательная проверка результата человеком, - подчеркнул Лев Меркушов.

Типы ИИ-галлюцинаций

Языковые модели не осознают смысл обрабатываемой информации и не верифицируют данные в режиме реального времени, поэтому искажения могут принимать различные формы: от изменения фактов до полного вымысла, или некорректного выполнения команд.

Лидер команды по разработке моделей ВТБ Алексей Пустынников рассказал о характерных типах ИИ-галлюцинаций в работе языковых моделей.

- Есть фактические галлюцинации, когда модель выдает проверяемую информацию с ошибками: например, указывает неправильное имя изобретателя, или дату события, либо создает несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа - галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст, или допустить логические ошибки, например, утверждать, что дважды два равно шести, - объяснил Алексей Пустынников.

Корни проблемы кроются в принципах функционирования языковых моделей. Формируя ответы, они опираются на статистические закономерности, а не на осмысление контекста, что при недостатке информации приводит к ее «додумыванию».

Существенную роль играют и ограничения обучающих массивов: языковые модели не учитывают события, произошедшие после завершения их обучения, и не могут оперативно проверять актуальность сведений. Это становится причиной ошибок как в узкоспециализированных областях, так и при работе с изначально некорректными данными.

Еще одной распространенной причиной ИИ-галлюцинаций Лев Меркушов назвал сложные и абстрактные задачи, которые человек ставит перед нейросетью.

- Чтобы модель лучше понимала задачу, мы рекомендуем продуманно формулировать вопросы и давать инструкции. Еще можно сложный запрос разбивать на простые шаги. Лучше применять специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучают на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные встроенные защитные механизмы помогают отслеживать ответы и вовремя останавливать модель, если она выдает что то неверное, - дополнил Лев Меркушов.

Как ВТБ минимизирует ошибки

В своей банковской практике ВТБ успешно реализовал систему каскадной обработки, где несколько моделей последовательно анализируют информацию и взаимно корректируют результаты. Данная методика активно применяется при распознавании речи, прогнозировании нагрузки на банкоматы. Ведется разработка каскадных моделей для создания умного поиска и по корпоративным базам знаний.

Особое значение придается тщательному отбору обучающих данных.

- Один из базовых подходов - фильтрация данных, при котором в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными. Такой процесс нередко включает проверку материалов экспертами, что, с одной стороны, повышает качество, но с другой - увеличивает стоимость обучения моделей, - отметил Алексей Пустынников.

Специалисты ВТБ убеждены, что эффективное применение искусственного интеллекта предполагает не только технологическую подготовку, но и строгий контроль за качеством информации, открытость алгоритмов и постоянный мониторинг результатов. Именно такой комплексный подход позволяет создавать надежные ИИ-инструменты, способствующие развитию бизнеса при минимальных рисках ошибок и максимальном уровне доверия клиентов.