AI от ByteDance способен анимировать как реальных людей, так и мультяшных персонажей, используя всего одно изображение.

Главное:

• ByteDance представила новую платформу OmniHuman-1 для создания видеороликов из изображений и аудио.
• OmniHuman-1 обрабатывает текст, изображения, аудио и позы тела для улучшенной генерации видео.
• Платформа обучалась на основе 19 000 часов видеоматериалов, превосходя предыдущие методы в тестах качества.

Преимущества платформы OmniHuman-1

Новая платформа OmniHuman-1 от компании ByteDance, дочерней организации TikTok, представляет собой прорыв в области генерации видео с использованием искусственного интеллекта. Она решает одну из главных проблем создания видео: генерацию естественных человеческих движений в масштабах. Прежде чем OmniHuman-1 появилась на свет, многие системы сталкивались с трудностями в обработке больших объемов обучающих данных из-за нерелевантной информации. В результате, значительное количество ценных шаблонов движений терялось.

Платформа OmniHuman-1 использует многофункциональный подход, обрабатывая несколько типов ввода одновременно, включая текст, изображения, аудио и данные о позах тела. Такой подход позволяет более эффективно извлекать информацию из огромного массива данных, что значительно повышает качество создания видео.

Технологические нюансы и обучающие данные

Команда разработчиков использовала около 19 000 часов видеоматериалов для обучения OmniHuman-1. Эта система интегрирует модель на основе DiT и многоэтапную стратегию обучения. Сначала каждый тип ввода обрабатывается отдельно, после чего информация о движениях консолидируется и переводится в реалистичный видеофайл. Во время обучения система наблюдает за результатами, сравнивая их с реальными видеозаписями, что позволяет улучшать качество анимации.

Благодаря этому подходу OmniHuman-1 создает высококачественные анимации для различных форматов входных данных, включая как портретные снимки, так и фотографии в полный рост. В сравнении с предыдущими моделями, новые видео отображают более естественные движения рта и жесты, что существенно усиливает реализм анимации.

Рынок и будущее технологий AI

Влияние внедрения таких технологий, как OmniHuman-1, на рынок сложно переоценить. С текущими успехами в образовании и анимации, возможности использования платформы практически безграничны — от создания анимационных фильмов до использования в рекламе и социальных сетях. ByteDance уже проявила намерение активно развивать AI-технологии в своем бизнесе, объявив о планах сосредоточиться на данном направлении в феврале 2024 года.

Одной из интересных особенностей OmniHuman-1 является ее способность анимировать персонажей мультфильмов, что открывает новые горизонты для создания контента. Эти достижения подчеркивают потенциальные риски и вызывают вопросы о будущем искусства и анимации в условиях увеличивающегося влияния искусственного интеллекта.