Примечание: видео НЕ является монтажом, это реальный исходящий видеопоток. Сейчас реализованы все основные концепции, которые были заложены в генерацию аватаров: - Высокая скорость (лучшая в мире) и локальность с минимальными требованиями к серверу, что позволяет качественно запускать решение даже на обычном компьютере без GPU. - Добавление дополнительных эффектов в исходящий видеопоток в реальном времени. - Возможность создания аватара практически из любого видео. - Независимость синхронизации губ от языка произносимой речи. - Возможность формирования видео неограниченной продолжительности и отсутствие необходимости ждать пока видео сформируется полностью - Дополнительный продукт для качественного клонирования голоса. Более подробно: - Возможность запускать локально, а не только в облаке. Локальность обеспечивает уверенность в том, что данные не будут скомпрометированы на стороне, что особенно актуально для внутренних решений компаний. Это ключевой фактор для обеспечения безопасности. - Все известные бесплатные решения очень медленные, а известные облачные платформы стоят немалых денег и исключают использование чувствительной информации, а также не имеют возможностей дополнительного наложения видеоэффектов на выходной поток. - Скорость для выходного видео любой длительности: задержка на отображение будет минимальной, так как решение начинает отдавать видеопоток, не дожидаясь формирования всего видеоролика. Это позволяет эффективно использовать решение даже на обычном CPU и формировать видео практически любой продолжительности, так как нет необходимости ждать, пока будет готово всё видео.| И, конечно, большой плюс — это сохранение значительного количества энергии благодаря нетребовательности решения, а следовательно, и денег. Изначально я начал эту разработку, чтобы помочь людям с ограничениями: клонирование и использование потерянного голоса, озвучка аватарами реальных людей и их голосом для тех, кто потерял голос или по каким-то причинам не может показать лицо. Проект (https://t.me/f1KostyaBot) существует и функционирует бесплатно для людей с ограничениями. Кроме того, у меня была личная ситуация, в которой мне нужно было занять свой мозг чем-то, чтобы отвлечься, и работа над кодом очень помогла. Результат получился (по моему мнению) очень прикольный и сильно шире изначальных планов. P.S. Проект можно ещё совершенствовать, например, написать скриптовый язык для сценариев (как для фильма), в котором можно описать всё, что будет происходить, и когда какой контент подмешивать к говорящему аватару, какие аватары появляются и в какой момент, что говорят и каким голосом и т.д. и т. п.

В техническом плане это очень простой telegram bot, озвучивающий введенный текст и Emoji+. Приложение было написано по просьбе друзей человека с серьезными ограничениями в коммуникации для возможности коммуницировать ЗВУКОМ с близкими людьми Выложено на media ресурсы, чтобы .. если есть еще такие люди, то они могли бы тоже воспользоваться p.s. мы не претендуем на полноту решения .. мы постарались реализовать просьбу и помочь. Следите за нашими проектами в нашем телеграм канале https://t.me/gagarin_data_labs