Примечание: видео НЕ является монтажом, это реальный исходящий видеопоток.
Сейчас реализованы все основные концепции, которые были заложены в генерацию аватаров:
- Высокая скорость (лучшая в мире) и локальность с минимальными требованиями к серверу, что позволяет качественно запускать решение даже на обычном компьютере без GPU.
- Добавление дополнительных эффектов в исходящий видеопоток в реальном времени.
- Возможность создания аватара практически из любого видео.
- Независимость синхронизации губ от языка произносимой речи.
- Возможность формирования видео неограниченной продолжительности и отсутствие необходимости ждать пока видео сформируется полностью
- Дополнительный продукт для качественного клонирования голоса.
Более подробно:
- Возможность запускать локально, а не только в облаке. Локальность обеспечивает уверенность в том, что данные не будут скомпрометированы на стороне, что особенно актуально для внутренних решений компаний. Это ключевой фактор для обеспечения безопасности.
- Все известные бесплатные решения очень медленные, а известные облачные платформы стоят немалых денег и исключают использование чувствительной информации, а также не имеют возможностей дополнительного наложения видеоэффектов на выходной поток.
- Скорость для выходного видео любой длительности: задержка на отображение будет минимальной, так как решение начинает отдавать видеопоток, не дожидаясь формирования всего видеоролика. Это позволяет эффективно использовать решение даже на обычном CPU и формировать видео практически любой продолжительности, так как нет необходимости ждать, пока будет готово всё видео.|
И, конечно, большой плюс — это сохранение значительного количества энергии благодаря нетребовательности решения, а следовательно, и денег.
Изначально я начал эту разработку, чтобы помочь людям с ограничениями: клонирование и использование потерянного голоса, озвучка аватарами реальных людей и их голосом для тех, кто потерял голос или по каким-то причинам не может показать лицо. Проект (https://t.me/f1KostyaBot) существует и функционирует бесплатно для людей с ограничениями.
Кроме того, у меня была личная ситуация, в которой мне нужно было занять свой мозг чем-то, чтобы отвлечься, и работа над кодом очень помогла.
Результат получился (по моему мнению) очень прикольный и сильно шире изначальных планов.
P.S. Проект можно ещё совершенствовать, например, написать скриптовый язык для сценариев (как для фильма), в котором можно описать всё, что будет происходить, и когда какой контент подмешивать к говорящему аватару, какие аватары появляются и в какой момент, что говорят и каким голосом и т.д. и т. п.
