Сбер Visper
Платформа для создания виртуальных персонажей

Основные статьи:

• Речевые технологии: на пути от распознавания к пониманию
• Платформы создания виртуальных ассистентов

2021

Доступность платформы на английском языке

3 ноября 2021 года компания «Сбербанк» сообщила, что платформа Visper, которая позволяет генерировать видеоролики с фотореалистичными и анимационными персонажами, стала доступна на английском языке.

Создавать визуальный контент с её помощью теперь могут пользователи по всему миру. Помимо перевода интерфейса появилась и опция генерации речи на английском языке: достаточно просто ввести текст и аватар зачитает его с корректным произношением.

Если раньше пользователи Visper могли создать видео, понятное 200 млн человек, говорящих на русском языке, то теперь потенциальная аудитория увеличилась более чем в 8 раз - благодаря примерно 1,5 млрд людей, владеющих английским.

На платформе также появились очередные персонажи: сделать ролики теперь можно с тремя реалистичными аватарами (Елена, Пётр и Ева) и тремя анимационными - (Матильда, Ви и Кира). Для них доступны разные образы и костюмы, 4 женских и 2 мужских голоса для русской озвучки и по 5 женских и мужских голосов - для английской. Можно загрузить собственную запись - и тогда мимика персонажа подстроится под неё. Речь каждого аватара можно разметить интонационно: поставить паузы и ударения, сопроводить жестами, наложить музыку и фон. За основу видео можно взять любую презентацию, а также анимировать собственное фото и вставить его в ролик.

Visper позволяет контент-мейкерам и разработчикам инфопродуктов быстрее и дешевле создавать качественные материалы и экспериментировать с форматами. С этой платформой можно быстро создавать креативные ролики без дорогостоящих и долгих съёмок, оживлять текстовый контент с помощью видео, оперативно получать визуальный материал для динамически меняющегося контента (новости, анонсы) и персонализировать коммуникацию.Метавселенная ВДНХ 3.4 т

Каждый месяц любой пользователь может создавать две минуты видео бесплатно. Доступна как поминутная оплата, так и подписка, а для бизнеса - и персональные тарифы исходя из специфики деятельности

«Платформа была запущена всего полгода назад, и она уже доступна пользователям по всему миру. На начало ноября 2021 года сервисом пользуются 17 тысяч человек, которые ежедневно создают видео с нашими персонажами, каждый из которых подходит для разных аудиторий и целей. Создание англоязычного интерфейса стало логичным продолжение развития проекта. Это позволит нам привлечь международную аудиторию и познакомить мир с нашими разработками», - говорит Давид Рафаловский, исполнительный вице-президент «Сбербанка», CTO «Сбера», руководитель блока «Технологии».

Анимационный аватар Матильда

15 июля 2021 года компания Сбербанк сообщила, что платформа Visper открыла своим пользователям обновленные возможности для создания видеороликов и презентаций. В обновлении появились два образа — первый на платформе женский анимационный персонаж Матильда и реалистичный мужской персонаж Пётр. Также без специальных инструментов теперь можно расставлять паузы и ударения в речи аватаров и загружать собственный аудиофайл с текстом, под который подстроится мимика персонажа. А оживить ролик можно, загрузив фоновую музыку.

Матильда

По информации компании, на платформе появилась возможность создавать видео с анимационными аватарами, первым из которых стала Матильда, разработанная командой Visper совместно со Sber AR/VR Lab. При использовании этого образа уже доступны все те же функции, что и у реалистичных персонажей: зачитывание текста на русском языке, добавление собственной аудиодорожки, выбор голосовой модели (нейтральная, приветливая или деловая). Также к пяти женским реалистичным образам добавился и мужской персонаж, для которого доступны нейтральная и добрая модели звучания.

Одним из обновлений стал первый на платформе анимационный персонаж. Теперь пользователям без специальных навыков проще делать красивые и запоминающиеся ролики и презентации в разных стилях, которые можно использовать и для бизнеса. рассказал Константин Круглов, CEO SberDevices, старший вице-президент по цифровым поверхностям Сбербанка

Ещё одним обновлением стала функция разметки текста на монтажном столе, который зачитывает персонаж. Теперь можно сделать речь аватара более эмоциональной, изменив её темп, добавив паузы и ударения. Делается это очень просто: нужно лишь поставить соответствующие метки в текст — и речь аватара зазвучит по-другому.

Кроме возможности управлять синтезом речи, появилась опция загружать свой аудиофайл с текстом, который будет озвучивать персонаж. Программа сама проанализирует запись и синхронизирует мимику, чтобы она выглядела максимально естественной. В пользовательских записях часто есть посторонние шумы, которые автоматически подавляются, что оптимизирует работу над роликом и качество сгенерированного материала. Такая функция к тому же даёт возможность использовать дикторскую речь и записи на других языках.

Также теперь в видео можно даже загружать фоновую музыку, которая будет проигрываться на протяжении всего ролика на громкости 10% от звучания текста персонажа. Для того чтобы можно было быстро попробовать, как это работает, на платформе на июль 2021 года есть три трека, созданных при помощи нейронных сетей глубокого обучения, разработанных в SberDevices.

Запуск платформы

Сбербанк 26 апреля 2021 года запустил платформу виртуальных персонажей Visper.

На апрель 2021 года помощью сервиса любой пользователь может анимировать презентацию или создать видеоролик с сопровождением визуальными персонажами. Персонажей можно использовать для решения задач в различных областях: в маркетинге, для сервисов онлайн-обучения, создания развлекательного и новостного медиаконтента, а также контента для соцсетей. Однако уже скоро возможности платформы существенно расширятся, в том числе пополнятся решениями для геймдев индустрии, когда на базе инструментов Visper разработчики смогут создавать аватаров и персонажей для игр. На этапе бета-тестирования доступ к платформе будет открыт бесплатно.

Рынок видеоконтента огромен, и практически всем сегментам бизнеса рано или поздно требуются видеоформаты для продвижения своих услуг. Разработчики Visper предложили полуавтоматизированный процесс превращения презентации в видео с визуальными персонажами, сделав его простым и не требующим технических навыков. Нужно только задавать желаемые параметры, дальше платформа всё сделает сама. Пользователи получат инструмент создания видеороликов из уже готовых презентаций классических форматов (например, PDF).

Создавая виртуального персонажа, пользователь может:

• выбрать внешний вид персонажа — доступны различные варианты образа и стиля;
• выбрать голосовую модель для синтеза речи персонажа — нейтральную, приветливую или деловую;
• добавить жестикуляцию, например, жесты обращения или лайка — персонаж может поздороваться со зрителями или обратиться к ним во время рассказа;
• добавить изображение или видео в качестве сопроводительного материала ролика с персонажем.

Веб-интерфейс платформы прост в использовании, и на апрель 2021 года имеет два основных раздела: рабочий и монтажный столы.

На рабочем столе собраны все ранее сгенерированные пользователем ролики, а также незавершённые черновики. Переход к созданию видео осуществляется в трёх вариантах — с нуля, из готовых презентаций в формате PDF, либо на основе ранее сгенерированных роликов. Кроме того, пользователь по умолчанию получает доступ к трём документам-шаблонам, на основании которых может создавать свои собственные ролики.

В разделе для монтажа выполняются настройки персонажа и добавление текста для ролика. Здесь можно регулировать расположение и масштаб персонажа и контента в кадре, отключать контент или визуальное отображение диктора, менять фоны, а также прослушивать фрагменты синтезированной речи и сцены целиком. С монтажного стола ролик можно отправить на генерацию, либо сохранить для последующего редактирования.

Перед созданием любого ролика пользователь попадает на страницу управления виртуальными персонажами, где выбирает фон, голос и образ, а также даёт персонажу имя. Здесь же отображаются ранее созданные персонажи и есть опция генерации новых.

Одной из главных особенностей персонажей Visper является наличие жестикуляции, что, как и в жизни, помогает акцентировать внимание на ключевых тезисах и удерживать внимание аудитории. В ближайшее время будет добавлена опция автоматического подбора жестов: пользователю достаточно будет загрузить текст и проверить, правильные ли подсказки визуальный персонаж получил от алгоритмов. Более того совсем скоро платформа пополнится инструментами генерации трёхмерных персонажей.