Яндекс: Шедеврум (нейросеть)

Основная статья: Нейросети (нейронные сети)

2023

Создание видео с помощью нейросети

«Яндекс» первым в России запустил создание видео с помощью нейросети. Соответствующая функция появилась в «Шедевруме», сообщила пресс-служба компании 28 августа 2023 года.

Нейросеть генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с друзьями или сохранить в формате MP4. Для того, чтобы сгенерировать видео в «Шедевруме», нужно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берёт за основу выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё выбранным эффектом. К концу августа 2023 года их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъем и морфинг (постепенное изменение).

Яндекс запустил создание видео с помощью нейросети

Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.

Как отметили в «Яндексе», генерация видео дополняет другие возможности «Шедеврума» — создание изображений и текстовых постов с заголовком и иллюстрацией. Отправить запрос на коммерческое использование контента из Шедеврума можно через форму обратной связи — ответ придет в течение 5 рабочих дней.Метавселенная ВДНХ 3.4 т

К 28 августа 2023 года функция создания видео с помощью «Шедеврума» работает в режиме тестирования. Генерация видео доступна активным пользователям сервиса, но посмотреть результаты в ленте приложения могут все, уточнили в «Яндексе».

По данным компании, нейросеть «Шедеврума» к концу августа 2023 года содержит 5 млрд параметров и обучалась на 330 млн примеров пар картинок с текстовым описанием.^[1]

Добавление YandexGPT

15 июня 2023 года Яндекс сообщил о добавлении в Шедеврум большой языковой модели последнего поколения YandexGPT (YaLM 2.0). Благодаря этому пользователи могут получить в ответ на текстовый запрос не только картинки, но и содержательные посты с заголовком и подходящей по смыслу иллюстрацией. Это открывает ещё больше возможностей для творчества, веселья и подготовки полезного контента.

С помощью YandexGPT в Шедевруме можно написать короткий рассказ, сочинить слоган, объявление, приглашение на вечеринку и просто придумать весёлую шутку. Нейросети сформулируют заголовок и предложат варианты обложек — изображений, ранее сгенерированных пользователями Шедеврума. Готовые посты публикуются в общей ленте, где пользователи могут ставить им лайки, смотреть популярные работы и подписываться друг на друга.

Использование в "Яндекс.Бизнесе"

Яндекс 6 июня 2023 года сообщил о том, что начал использовать в Яндекс.Бизнесе иллюстрации, созданные той же нейросетью, которая работает в приложении Шедеврум. Подробнее здесь.

Анонс продукта

«Яндекс» выпустил генеративную нейросеть «Шедеврум», которая может создавать изображения по описанию. Об этом компания сообщила 5 апреля 2023 года.

Нейросеть работает в приложениях для iOS и Android на русском и английском языках. Она способна работать в разных художественных стилях, учитывать пожелания пользователей, а также подражать известным художникам.

Система генерирует картинку по методу каскадной диффузии: сперва создает изображение в соответствии с запросом, затем увеличивает его разрешение и добавляет детали, говорится в сообщении «Яндекса». Понравившиеся изображения можно лайкать в общей ленте. Самые популярные из них попадают в топ лучших на отдельной вкладке. Чтобы генерировать картинки по собственным запросам, нужно оставить заявку и дождаться её подтверждения. В будущем такую возможность получат все зарегистрированные пользователи.

Разработчики пояснили, что нейросеть очень любит конкретику. Чем подробнее описание, тем точнее результат. Художественный ИИ от «Яндекса» учитывает особые пожелания, например, «фотореализм» или «высокую детализацию», а также способен подражать известным живописцам и работать в заданных художественных стилях.

Первую версию приложения обучили на 240 млн картинок с текстовыми описаниями, к 6 апреля 2023 года обучение продолжается на наборе из 500 млн примеров, добавили в компании.

В основе Шедеврума прототип нейросети, которой предстоит многому научиться. К моменту финального релиза она сможет генерировать баннеры, иллюстрации, создавать изображения для интернет-витрин и не только. Бета-тест приложения для пользователей — это новый опыт и немного хорошего настроения, для нас — возможность чуть лучше понять, в каком направлении развивать нейросеть дальше, - отметил руководитель управления машинного интеллекта и исследований «Яндекса» Алексей Гусаков.[2][3]

Примечания