Runway Two-Act: Генерируем AI инфлюенсера для гемблинг трафика

В прошлом месяце Runway AI выкатила новую мощную модель Act Two. Это инновация в мире нейросетей. Теперь у нас есть возможность генерировать видео на основе другого, повторяя мимику, липсинк и движения. Она уже набрала большую популярность в мире анимации и кино и активно продвигается в рилсах.

Но это хорошие новости не только для киноделов, но и для арбитражников, ведь теперь появилось ещё больше возможностей для работы с инфлюенсерами. Те, кто гонит трафик, теперь могут делать контент сами, просто заменив лицо.

Мы покажем, как работает нейросеть на примере короткого видео. Но для начала — о ценах и инструментах, которые нам потребуются.

Что нам потребуется?

Act Two находится в ограниченном доступе, поэтому мы будем использовать сервисы с доступом к ней. Также нам потребуется фотография анфас вашего нового AI-блогера.

Бот SyntxAI

Это крайне полезный телеграм-бот, где собраны ВСЕ популярные нейросети, в том числе он предоставляет доступ к Act Two, и работать мы будем через неё. Придётся купить подписку — Act Two доступна только с тарифа PRO. Это обойдётся вам примерно в 30$. В боте действует система токенов, и каждый запрос расходует их, но за 30 баксов вам дадут токенов на 340 секунд генерации, что довольно много.

Помимо Act Two, в боте мы будем использовать AI для замены лица. И если у вас нет блогера, то там же в MidJourney можно сгенерировать фотографии.

Мы сгенерировали всего одно изображение, но инфлюенсер должен быть всегда одинаковым, поэтому рекомендую посидеть и погенерировать как можно больше изображений персонажа, чтобы была выборка.

Вы сгенерировали фото персонажа. Что дальше?

Исходники

Теперь нам требуется исходник видео — сам контент, в котором мы будем заменять лицо. Вы можете снимать эти видео сами и загружать их прямо в нейросеть. Ну, собственно, для этого всё и затеивалось.

Как вы видите, девушка сидит ровно, почти не жестикулирует и мало двигается. Это то, что нам нужно. Рекомендую снимать все видео именно таким образом: избегайте резких движений, не жестикулируйте, если это не обязательно, и совершайте минимум движений, пока что нейросеть не развилась так, чтобы их учитывать. А также лучше снимать на фиксированную камеру, потому что нейросеть не умеет передвигать её, и движения ухудшат результат. То есть, ходить по комнате не стоит.

В целом, качество результата зависит от следующих факторов:

1. Освещение. Чем лучше свет, тем лучше AI сможет проработать картинку.
2. Движения человека и камеры. Как мы уже сказали выше.
3. Качество. Старайтесь снимать на максимальное разрешение.
4. Мимика. Нейросеть хорошо повторяет её, однако какую-то гиперэмоциональную сцену она может не повторить качественно. Будьте аккуратны.
5. Гринскрин. Это не обязательный пункт, но на гринскрине получаются самые лучшие генерации.

Остался последний шаг — это сохранить первый кадр из видео, где чётко видно лицо, в формате картинки. Он потребуется нам, чтобы заменить лицо. Рекомендую выбирать тот момент, где глаза направлены прямо в камеру, иначе есть шанс, что лицо немного исказится.

Создаём видео в Syntx AI

Итак, у вас есть фотографии вашего блогера, отснятое видео, вырезанный кадр и оплаченный бот. Переходим в него, нажимаем старт и выбираем вкладку «Дизайн с AI«.

Здесь большой список всех нейросетей для работы с изображениями. Листаем вниз и кликаем на «Замена лица«.

Далее бот попросит загрузить две фотографии: первая будет аватаром, а вторая — тот самый кадр из видео.

Практически мгновенно получаем результат. Скачиваем по прямой ссылке качественную версию.

Наш кадр с AI-аватаром готов. Переходим к генерации видео в Act Two.

Для этого возвращаемся в главное меню и выбираем вкладку «Видео будущего«.

Снова листаем вниз и находим в списке «Runway Act Two«.

Сразу же загружаем в бота снятое вами видео.

После загружаем картинку с заменённым лицом, чтобы нейросеть её оживила на основе вашего видео.

Здесь выбираем подходящее соотношение. Выставляем выражение — это то, насколько выразительна будет мимика. Рекомендую оставлять на 3. Нажимаем «Сгенерировать видео«.

Получаем очень хороший результат. Далее вы можете трансформировать видео в кружки, выкладывать вертикальные истории или полноценные горизонтальные живые отрывки. Длительность ограничена — не более 30 секунд.

Ещё один важный момент: нейросеть не поменяла голос, и вам придётся менять его самому. Подключайте к работе Elevenlabs или войсченджеры.

Что делать если не знаешь языка?

Ничего страшного, работа чуть усложнится. Придётся подключать к работе ElevenLabs и липсинк. Для перевода аудиодорожки используем вкладку «Dubbing» в ElevenLabs, а липсинк нейросеть есть в SyntxAI. Или можете воспользоваться нейросетями, на которые мы уже делали обзор.

Главное здесь — сделать грамотный исходник, где ваш голос будет переведён и синхронизирован с губами.

Можно ли сделать из мужчины девушку?

Да, можно. Действует по тому же принципу, но для создания аватара по кадру уже замены лица не хватит. Вместо «замены лица» используем MidJourney с промптом, где прописываем, чтобы она сделала из вас девушку по вашим сгенерированным анфасам. И, конечно же, меняем голос в исходнике с помощью ElevenLabs или проще — войсчейнджером.

Однако, ваш исходник и кадр будут различаться, и это может повлечь за собой чуть больше бракованных кадров. А если вы ещё и язык меняете, готовьтесь к трудностям.

Мы стали ближе к метареальности на ещё один шаг. Уже сейчас можно забыть про поиск и найм актёров и, если время позволяет, начинать снимать ролики самому. Есть риск столкнуться с некачественными генерациями, но если вы загрузите хорошие исходники, то их будет минимум. Ждём обновлений, наверняка скоро нейросеть станет еще лучше! Если ты уже тестил или собираешься, обязательно поделись результатами в нашем чате. Удачных заливов!