Искусственный интеллект проверят на токсичность и вымысел: ВТБ и МГУ запустили систему контроля

ВТБ вместе с Центром искусственного интеллекта МГУ разработал комплекс для проверки ответов цифровых помощников. В ходе партнёрства появились два детектора, которые выявляют ошибки виртуальных моделей: токсичность и галлюцинации. Эти инструменты анализируют как запросы клиентов, так и ответы цифровых ассистентов. Об этом сообщил советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский в рамках Kazan Digital Week.

Первый детектор – токсичности – сканирует запросы пользователей на запрещённые темы, нарушение закона, контент для взрослых (18+) и другие нежелательные элементы. При обнаружении неэтичного содержания система блокирует запрос и не передаёт его на обработку.

Второй детектор – галлюцинаций – работает с готовыми ответами цифровых помощников: он находит несоответствия и противоречия, указывая, в какой части ответа они содержатся. После этого сотрудники банка могут отправить ответ на дополнительную проверку или заблокировать его. Галлюцинации – распространённая проблема генеративного ИИ, когда модель уверенно выдаёт полностью вымышленную информацию.

Новые системы планируется внедрить в сервисы розничного бизнеса банка, где с клиентами-физлицами общаются цифровые помощники.

«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ, — пояснил Сергей Путятинский. – Внедрение моделей проверки - необходимая мера, чтобы сохранять высокий уровень обслуживания клиентов при активном использовании ИИ».