Достаточно предложить ему первую строчку – и виртуальный Александр Сергеевич изящно закончит четверостишие, а затем даже сам зачитает его вслух. Нейропоэт был создан с помощью технологии «оживленного» портрета и нейросети, обученной на стихотворных строках Пушкина и еще 60 миллионах четверостиший современных авторов. Планируется, что в будущем эти наработки будут использоваться в различных продуктах экосистемы Тинькофф.
Анимированный Александр Сергеевич умеет рифмовать строки в современном стиле. Благодаря открытым данным, на которых он был обучен – произведениях самого поэта, а также нескольких миллионов четверостиший с ресурса Стихи.ру – нейропоэт может продолжить и развить любую мысль. При этом он не повторяется, и на одну и ту же строчку выдает разные вариации стихотворений.
Чтобы сочинить стихотворение вместе с нейропоэтом, нужно ввести начало стихотворной строки на сайте проекта. Можно просто напечатать текст длиной до 30 знаков в строке ввода, а можно наговорить его в микрофон. Искусственный интеллект обработает информацию и подберет к ней наиболее оптимальное окончание. Затем «оживший» Александр Сергеевич прочтет получившиеся строки вслух.
«Оживить» поэта удалось с помощью собственных технологий Тинькофф. Например, по словам представителя компании, это был первый опыт применения Тинькофф технологии синтеза мимики. Для создания виртуального стихотворца в компании научили нейросеть соотносить звуки речи с выражением лица и мимикой нарисованного поэта. В итоге из аудиофайла удалось получить видео Пушкина, декламирующего стихи. За складывание стихов отвечает генеративная стихотворная модель, а за чтение их вслух – VoiceKit – голосовая технология Тинькофф, которая синтезирует голос, преобразовывая текст в звуки и обратно и обученная на терабайтах данных и десятках часов человеческой речи.
По словам представителя компании, используемые наработки будут в дальнейшем использоваться в других продуктах Тинькофф.