Фарзон Носири: «Сегодня информация сохраняется лучше, чем когда-либо, но ее все труднее найти и связать в единую картину»

Фото: предоставлено героем публикации

В России молодежь начала активнее изучать генеалогию. По данным мобильного оператора, интерес к поиску своих корней среди подростков вырос в семь раз. Но найти необходимые данные непросто, несмотря на то, что многие архивы давно оцифрованы. ИТ-разработчик сложных систем и ученый Фарзон Носири, работая с большими данными более 20 лет в научных проектах и корпоративных системах, считает главной проблемой то, что терабайты архивированной информации часто не связаны между собой. Он предложил подход, который использует ИИ для объединения разрозненных данных и выявления связей между документами, людьми и событиями. Инженер руководил техническим направлением международной компании «Нексус Технолоджис», участвует в оценке международных технологических проектов и работе профессиональных инженерных сообществ (IEEE, Fellowship и Raptors). Параллельно он развивает свое технологическое решение проблемы хранения и поиска информации, с которой сталкиваются и ученые, и обычные пользователи. Поговорили с ним о том, почему люди научились хранить информацию, а искать — нет, и как ИИ-технологии могут связать хаотичные данные в понятную экосистему знаний.

— Всю свою карьеру вы посвятили работе с данными как с инструментом принятия решений и сохранения знаний, видели, как усложняется работа с информацией. Почему, несмотря на цифровизацию архивов, поиск остается сложной задачей?

Сегодня информация сохраняется лучше, чем когда- либо, но становится все труднее ее найти и связать в единую картину. Проблема в том, что большинство современных цифровых архивов представляют собой набор

разрозненных файлов. Когда ведомство или музей оцифровывают свои фонды, они обычно делают сканы документов и загружают их на сервер в виде изображений. Для поискового робота такой массив бесполезен. Максимум, что он видит, это название файла, например «Фонд №5, опись 12». Если обычный человек вбивает в строку поиска имя своего прадеда, система ищет буквальное совпадение по тексту. Но она не может заглянуть внутрь отсканированного листа. Она не знает, что на пожелтевшей странице столетней давности, написанной от руки чернилами, упомянут именно тот, кого вы ищете. Более того, фамилия может быть написана с дореволюционной орфографией или с банальной ошибкой писца. Стандартные алгоритмы поиска на этом спотыкаются.

— В ряде исследований говорится, что ученые и специалисты тратят на поиск и сбор информации в отдельных случаях больше половины рабочего времени. Вы занимались исследованиями в области биоинформатики в Швеции. Насколько точна аналитика, на ваш взгляд, и как работа с научными данными повлияла на ваше представление о том, как должна быть устроена система поиска знаний?

Во время учебы в магистратуре Королевского технологического института и Каролинского института, я занимался анализом генетических данных, и сталкивался с тем, что поиск информации мог занять и все 80% времени, которое можно было посвятить науке, а не рутинной работе. Это привела меня к мысли, что разрозненные массивы информации бесполезны для науки, если между ними нет сквозной связи. Например, при изучении того, как передаются наследственные заболевания или как формируется здоровье поколений, мне было недостаточно иметь на руках только ДНК-маркеры. Чтобы проверить медицинскую гипотезу, генетические данные необходимо было сопоставить с историко-демографическими картами тысяч семей: где они жили, чем болели, в каких условиях трудились их предки. Данные приходилось искать вручную по разным ведомствам и архивам, поэтому исследования растягивались. Тогда я начал задумываться о необходимости оптимизации поиска архивной информации.

— Вы создали собственную платформу цифрового архивирования уже будучи ведущим разработчиком международной технологической компании. Как вы пришли к этой идее, учитывая, что история и культурология не относятся к вашему основному профилю?

Области разные, но принципы обработки данных и ее оптимизации очень похожи. Специфика моей работы такова, что каждый день я собираю данные и объединяю через сквозную аналитику. В гуманитарной сфере задача та же, но инструменты устарели. В какой-то момент я подумал о том, что если технологии семантического анализа и обработки больших данных могут объединять цепочки поставок в бизнесе, то они точно так же способны объединять разрозненные исторические данные.

— Системы, рассчитанные на работу с огромными массивами данных, которые вы строили для бизнеса, не единожды были отмечены международными премиями. Какие общие для таких решений принципы вы заложили в платформу — как именно она работает с историческими документами?

В ИТ-индустрии это называется созданием графа знаний — это база данных, которая связывает между собой людей, места и события паутиной подсказок. Это позволяет компьютеру понимать контекст и видеть, кто кому кем приходится и как связаны между собой различные исторические документы. На сегодняшний день это фактически единственный рабочий способ справиться с большими объемами неструктурированных данных, потому что стандартный поиск по ключевым словам в таких масштабах просто не работает. На платформе данные проходят первичную обработку. Алгоритмы оптического распознавания (OCR) преобразуют изображения старых документов, рукописей в машиночитаемый текст, а компьютерное зрение сканирует фотофонды и распознает и группирует похожие лица. Затем происходит семантический анализ, на основе которого система находит в документах имена людей, даты, географические названия, ведомства и автоматически устанавливают между ними смысловые связи. Если один и тот же человек упоминается в метрической книге 1905 года, на обороте старой фотографии и в чьих-то аудиовоспоминаниях, система сама свяжет эти факты в одну цепочку. Именно это позволяет находить нужную информацию за считанные секунды, не тратя месяцы на ручную стыковку документов.

— Платформа использует искусственный интеллект, но как ИТ-специалист и исследователь, работающий с большими данными, вы знаете, что нейросети склонны к ошибкам и “галлюцинациям”. Как оцениваете эти риски, и каким образом, на ваш взгляд, их можно избежать?

— Такая проблема действительно существует. Это происходит тогда, когда у нейросети недостаточно данных и нет четкой системы контроля. Чтобы избежать этого, нужно использовать технологию RAG (прим.ред. Retrieval-Augmented Generation — генерация, дополненная поиском). Именно этот инструмент я применил в своей разработке. Когда исследователь задает системе вопрос на обычном человеческом языке, алгоритмы сначала обращаются к закрытому векторному индексу архива и находят там реальные исторические документы. Например, по запросу «реформа образования» система выдаст подлинные тексты о школах или учебных планах, даже если в них нет буквальных совпадений. Затем подключается большая языковая модель, которая формулирует ответ, используя строго только те архивные свидетельства, которые ей предоставила система. ИИ не имеет права ничего додумывать от себя. Более того, итоговый ответ всегда выводится на экран вместе со ссылками на первоисточники. Пользователь может сразу перейти по ним и самостоятельно проверить документ. Этот этап пропускать тоже нельзя, все-таки финальный контроль по-прежнему остается за ученым или архивариусом.

— Помимо работы с данными, вы оцениваете инновационные проекты в жюри технологических премий и участвуете в работе инженерных ассоциаций — почему именно направление интеллектуальных архивов вы считаете одним из наиболее важных для будущего?

Потому что информации становится все больше, следовательно, усложняется навигация. Информация, которая просто лежит в архивах и никто ее не может найти, бесполезна. Но так быть не должно, ведь эта информация – тот фундамент, который позволит и дальше эволюционировать, опираясь на опыт предыдущих поколений. За интеллектуальными системами цифрового архивирования будущее, поэтому я продолжу эту работу и буду совершенствовать платформу, чтобы сделать историческое наследие доступным для каждого.