МГППУ: создана система для проверки ответов ИИ на наличие галлюцинаций
Фото: REUTERS.
Специалисты факультета «Информационные технологии» Московский государственный психолого-педагогический университет разработали систему на основе искусственного интеллекта для проверки правдоподобности ответов нейросетей. Об этом они сообщили «Газете.Ru».
По словам разработчиков, число пользователей искусственного интеллекта стремительно растет, однако нейросети по-прежнему могут генерировать правдоподобные на вид, но ложные ответы — так называемые «галлюцинации», когда алгоритм фактически выдумывает факты.
Созданная программа оценивает достоверность тезисов по так называемому алгоритму маятника. В качестве исходной точки берется содержательный тезис, который может быть как верным, так и ошибочным. Далее формируется итеративная цепочка высказываний, последовательно подтверждающих и опровергающих друг друга по заданному правилу.
Каждое новое утверждение генерируется интеллектуальным ассистентом как строгое смысловое опровержение предыдущего, при этом сохраняются предметная область и ключевые понятия. В результате формируются два массива текстов — поддерживающих исходный тезис и его отрицание. Затем проводится анализ согласованности внутри каждого множества.
Как поясняют авторы разработки, предполагается, что более согласованным окажется именно тот массив формулировок, который связан с содержательно более корректной позицией.
Ученые подчеркивают, что система особенно востребована при анализе ответов ИИ в гуманитарных дисциплинах, где многие понятия носят размытый и контекстуальный характер. В подобных случаях прямое доказательство истинности высказывания затруднено, а структурный анализ согласованных и противоречивых формулировок становится важным инструментом оценки корректности ответа.