Модели доступны разработчикам бесплатно, в том числе для коммерческих проектов
Сбер открыл разработчикам доступ к Kandinsky Avatar 1.0 — семейству нейросетевых моделей для создания говорящих видеоаватаров на основе фотографии и аудиозаписи. Код и веса моделей опубликованы под лицензией MIT на GitHub, GitVerse и Hugging Face. Их можно бесплатно использовать в коммерческих проектах.
Видео Сбера
Модель генерирует ролики продолжительностью до минуты с частотой 24 кадра в секунду. Для создания видео достаточно загрузить изображение, запись голоса и короткое текстовое описание сцены. Нейросеть синхронизирует движения губ с речью, добавляет мимику, повороты головы и жесты. Эмоции персонажа, например радость или грусть, можно задавать текстом. При этом модель не синтезирует и не копирует голос, а использует предоставленную пользователем аудиозапись.
Kandinsky Avatar 1.0 представлена в двух вариантах. Версия Pro создаёт видео в HD-разрешении, а облегчённая Lite работает на обычных домашних видеокартах и генерирует ролики в SD. Обучение проводилось на более чем 1 млн видеофрагментов на 95 языках.
В ходе слепого тестирования Pro сравнивали с Kling Avatar 2, LongCat-Avatar-1.5 и HeyGen IV. Ролики Kandinsky выбирали чаще конкурентов: в 63%, 60% и 54% сравнений соответственно. Наибольшее преимущество модель показала в синхронизации артикуляции с речью и естественности движений.
Разработчики смогут использовать технологию для образовательных платформ, виртуальных консультантов, видеокурсов, локализации контента, игр и сервисов для создания персональных видеообращений. В дальнейшем Сбер намерен внедрить видеоаватары в собственные продукты.