Идеальный LipSync для музыкального клипа за 15 минут | Как сделать точный липсинк в TopMediAI

Нейробатя www.youtube.com

Краткое содержание

В этом видео рассматривается сервис Top Media AI, который позволяет упростить создание музыкальных видео с помощью нейросетей, особенно в части синхронизации движения губ персонажа с песней (липсинк). Автор демонстрирует, как сгенерировать песню, создать музыкальное видео и сделать качественный липсинк, а также обсуждает тарифы сервиса.

  • Генерация музыки с помощью ИИ, включая текст и выбор стиля.
  • Создание музыкального видео с анимированным персонажем на основе текстового описания.
  • Точная синхронизация губ персонажа с вокалом (липсинк) с использованием TopPix.
  • Обзор тарифных планов сервиса Top Media AI.

Введение

Автор представляет сервис Top Media AI, который упрощает создание музыкальных видео с использованием нейросетей, акцентируя внимание на функции липсинга. Он отмечает, что традиционно создание таких видео сопряжено с проблемами синхронизации движения губ и музыки, но Top Media AI предлагает решение для точной синхронизации. В видео будет показано, как сделать липсинг песни, подготовить персонажа, настроить параметры для достижения наилучшей синхронизации и избежать распространенных ошибок.

Обзор Top Media AI

Top Media AI — это платформа с набором инструментов на основе искусственного интеллекта, позволяющая создавать видео, генерировать музыку, озвучивать текст, клонировать голоса и генерировать изображения. Одной из ключевых особенностей является возможность создания липсинга. Автор отмечает высокое качество синхронизации губ в сравнении с другими сервисами. Также упоминается функция автоматического создания клипа по текстовому запросу, что может быть полезным инструментом, требующим дальнейшей доработки.

Генерация музыки

Автор демонстрирует процесс создания песни в Top Media AI. В разделе "Лирикс" можно вставить свой текст песни или сгенерировать его с помощью функции Inspired Lyrics. Далее выбирается стиль музыки по жанру, настроению, инструментам, сцене и темпу. Можно сгенерировать текст песни с помощью чат GPT. Функция "Instrumental" позволяет создать музыку без вокала. Также можно выбрать голос (мужской или женский) и указать название песни.

Управление треком

После генерации песни открывается панель управления треком, где можно редактировать песню и использовать дополнительные функции. Можно изменить слова песни (функция временно недоступна) и разделить песню на отдельные дорожки (вокал, барабаны, инструменты) с помощью функции "Извлечь стэмс". Также можно скачать песню в разных форматах, сгенерировать видео, скачать MIDI, сделать ремикс и получить сертификат на коммерческое использование.

Создание музыкального видео

В разделе MV (Music Video) можно выбрать тип видео: с поющим персонажем, с историей или абстракцией. Выбирается песня, персонаж и описывается, что должно происходить в видео. Детальное описание позволит получить более точный результат. Можно выбрать формат видео (16:9 или 9:16) и разрешение (например, 1080p). После генерации видео можно использовать его для перебивок, вырезать удачные фрагменты и компоновать с липсингом и визуальным рядом.

Липсинк

В разделе TopPix выбирается функция "Сделать поющие губы". Загружается аудиодорожка (максимум 30 секунд за раз) и выбирается фотография певца или певицы. Чем лучше качество фотографии и видимость лица, тем качественнее будет липсинк. После создания липсинга можно посмотреть результат. Автор отмечает высокое качество липсинга по сравнению с другими платформами.

Тарифы

Автор рассматривает тарифные планы Top Media AI, которые зависят от количества необходимых кредитов в месяц, неделю или год. Например, минимальный пакет на месяц (3750 кредитов) стоит 9 долларов (с 50% скидкой на первый месяц). Также есть варианты на неделю (1500 кредитов за 5 долларов) и на год (30000 кредитов за 100 долларов). Ссылки на сервис будут указаны в описании к видео.

Summarize any YouTube video in seconds

Get summaries like this one for any video, in your language, with the free Summ app.

Download on the Apple Store
Get it on Google Play

Расшифровка

YouTube Transcript Generator

0:00 . Словно

0:57 в огне, что мы назовем Сердце стучит все громче и чаще Возьми! Друзья, сегодня покажу вам одну очень интересную штуку, которая может сильно упростить

1:46 создание музыкальных видео с помощью нейросетей. Речь пойдет про lip-sync, то есть про синхронизацию движения губ персонажа с песней. Если вы когда-нибудь пытались сделать такое видео, то знаете, что чаще всего возникает одна проблема. Персонаж либо открывает рот не в попад, либо слова вообще не совпадают с музыкой. И в итоге вся магия просто пропадает. Но в сервисе Top Media AI есть инструмент, который позволяет довольно точно синхронизировать движение губ с вокалом. Причем это можно делать как с уже готовой песней, так и с озвучкой, которую вы создаете сами. В этом видео я покажу, как сделать липсинг песни, как загрузить аудио и правильно подготовить персонажа, какие настройки

2:32 дают самую точную синхронизацию губ и какие ошибки чаще всего делают новички. В итоге вы сможете сделать видео, где персонаж реально поет, а не просто открывает рот под музыку. Итак, друзья, еще раз привет. Сегодня покажу вам очень интересный сервис, который поможет сильно упростить создание контента с помощью нейросетей. Называется он Top Media AI, и я уже делал видео об этом сервисе, но у них появилась новая классная функция, которая будет нереально полезна тем, кто делает музыкальные клипы. Но сначала давайте быстро разберемся, что вообще делает этот сервис. Потому что это целая платформа с набором инструментов для работы с искусственным интеллектом. Здесь можно создавать видео, генерировать

3:18 музыку, делать озвучку, клонировать голос, генерировать изображение. Но самое интересное здесь, это возможность делать липсинг. Я очень много сервисов перепробовал для этого, но большинство из них очень плохо делали синхронизацию Google. И каково было мое удивление, когда я увидел результат работы данной платформы. Я просто не мог не поделиться с вами этой информацией. Вторая функция, которая мне нравится здесь, это возможность сделать клип практически на автомате. Да, его нужно потом будет еще доработать. Но учитывая, что это делается по одному промту, почему бы и не иметь такой инструмент в своем арсенале? Так, и предлагаю, сейчас я вам покажу, как это все дело сделать. Давайте с самого начального

4:03 этапа сделаем. Создадим сначала песню, заходим в генератор музыки и попадаем на эту страничку. Смотрите, друзья, сейчас покажу, как работает меню создания музыки в этом сервисе. В самом верху находится раздел «Лирикс». Это поле, куда мы пишем текст песни. Здесь можно полностью вставить текст, либо сгенерировать его, с помощью кнопки Inspired Lyrics, если у вас нет готовых слов. Следующий пункт – это выбор стиля. По жанрам выбрать то, что нам нужно. По вайбу. По инструменту. По сцене. И по темпу. То есть выбираем то, что нам нравится. Окей. Выберем что угодно, пусть

4:50 будет кип-поп. Окей. Давайте смотрим дальше. Теперь слова. Можно пойти в чат GPT написать. Можно. Давайте попросим, пусть он нам придумает что-нибудь. Мы ему напишем, что нам нужна K-pop. Окей. И просим, пусть напишет. Сейчас посмотрим, что он нам напишет. Так, вот наши слова он написал. Окей. Смотрим дальше. Смотрите, есть раздел еще «Instrumental». Если мы его включим, то сервис создаст музыку без вокала. Будет только «Instrumental». Так, вот здесь вот мы выбираем голос. Он может быть случайным. Мужчина, либо

5:37 женщина. Здесь у нас идет название нашей песни. Так, друзья, наша песня сгенерировалась. Давайте послушаем, что там сгенерировалось у нас. понятно вроде неплохо теперь смотрите после того как песня сгенерирована у нас вот на открывается так называемое управление треком здесь мы можем редактировать песню и работать с дополнительными функциями давайте разберемся что у нас здесь есть сверху у нас

6:23 находится название трека дальше здесь у нас есть кнопочка можем изменить слова если нам нужно изменить изменения в текст можем изменить но пока смотрю эта функция временно недоступна и есть кнопочка вот извлечь стэмс она нам позволяет разделить песню на отдельные дорожки вокал барабаны инструменты это очень удобно если вы хотите дальше редактировать трек или использовать его в монтаже так смотрим дальше кнопочка скачать мы можем скачать разные форматы и вокал, инструментал, текст песни,

7:11 кнопочка сгенерировать видео, сейчас мы к ней вернемся, скачать MIDI, сделать ремикс, получить право на коммерческое использование сертификата. Это очень важно, если вы собираетесь монетизировать свою песню, чтобы потом вам никто не смог предъявить то, что вы нарушаете права интеллектуальной собственности. Так, смотрим, что еще важно. Здесь такое интересное есть. Окей, ну в принципе, вот это вот то, что основное. То, что основное нам нужно. Давайте мы ее скачаем. Так, заходим вот сюда в раздел MV, Music Video. То, что у них вот подсвечено новое. И теперь

8:00 смотрите, что мы здесь можем сделать. Мы можем выбрать тип видео, Здесь вот поет девушка. Здесь будет какая-то вот история. А здесь будет абстракция. Окей, но мне интересно посмотреть, как будет петь. Выбираем поет. Здесь выше выбираем нашу песню. Выбрали нашу песню. Так, я не буду для всей делать. Я сделаю вот какой-то вот фрагмент. Потому что... кредитов много съедает. Кто уже захочет для себя сделать, тот сделает. Дальше мы можем выбрать нашего персонажа. Я сгенерировал персонажа,

8:46 выбираю нашего персонажа. Так, и здесь мы можем описать, что должно происходить. И от того, насколько детально мы здесь опишем, то и результат мы такой получим. Так, смотрим, что у нас здесь, какие варианты есть, что нам предлагает. Я попрошу, чтобы он написал за меня. Напишу, что это кип-поп песня. Посмотрим, что он нам напишет. Написал. Но, опять же, кто будет делать для себя, то я советую здесь все-таки прописать самому детально, используя чат GPT, вот то, как вы видите, чтобы он сделал вам именно тот результат, который вы хотите увидеть. Ниже выбираем.

9:35 16 на 9 либо 9 на 16 формат и выбираем разрешение. Давайте 1080 выберем. И нажимаем генерировать. Ждем генерацию теперь. Так, видео наше готово. Давайте посмотрим.

10:28 Вот такой вот клип. То есть его использовать можно, например, для перебивки. Можно вырезать какие-то фрагменты, которые классно получились. И использовать дальше, вот компонировать с липсинком, компонировать с визуальным рядом, который вы сами сгенерируете. И по итогу получить реально классный результат. Так, друзья, и давайте сделаем теперь липсинки еще. Вот то, что самое интересное, то, что мне больше всего здесь понравилось. Заходим вот сюда, TopPix, и здесь ищем вот раздел. Сделать поющие губы. Так, нам нужно здесь загрузить нашу аудиодорожку. Загружаем. Загрузили дорожку, и он нам говорит, что мы максимум

11:14 можем за раз сделать 30 секунд. Выбираем какие-то 30 секунд. Окей, здесь поется. Выбрали. То есть если нам надо на всю песню, то нам нужно будет по 30 секунд это делать. Будьте к этому готовы. Так, и выбираем фотографию нашего певца, либо певицы. Вот здесь вот мы можем посмотреть примеры. Чем лучше будет видно лицо, и чем качественнее будет фотография, тем более качественно будет сделан липсинг. Учитывайте это, когда подбираете фотографию. Можно выбрать еще референс сцены, но я скажу так, что мне не понравилось, как он это делает, поэтому я этого не делаю.

12:01 И нажимаем создать. За создание липсинка он берет 150 кредитов за 30 секунд. То есть не совсем может быть и дешевое удовольствие, но оно реально того стоит. Если вы хотите сделать качественный клип, то, наверное, имеет место быть. Так, друзья, липсинг готов. Давайте посмотрим результат. Шикарно. Мне кажется, это шикарный результат. Учитывая другие варианты, другие платформы, где я это делал, то я скажу, что это один

12:46 из лучших. Вот под песню, под песню. Давайте теперь посмотрим, что у нас по тарифам. Так, смотрите, друзья, по тарифам у нас следующие варианты. Мы можем выбрать в зависимости от того, сколько нам нужно кредитов на месяц, либо на неделю, либо на год. Давайте отталкиваться в месяц. Если нам нужно минимальное количество, 3,750 кредитов, это будет стоить, сейчас на первый месяц идет скидка 50%. с 50% скидкой это будет стоить 9 долларов. За 9 долларов вы получите 3 750 кредитов. Если вам меньше нужно, можно взять на неделю 1500 кредитов за 5 долларов.

13:35 Ну и на год 30 000 кредитов 100 долларов. Поэтому кто занимается плюс-минус так серьезно, то я думаю, можно ли это взять. Все ссылки оставлю в описании. Спасибо за внимание. До новых встреч. Пока.

Share

Краткое содержание видео YouTube