ИИ-дубляж видео на другой язык: распознавание речи Whisper, перевод с помощью LLM и озвучка Kokoro
Демонстрация товара, обучающий или имиджевый ролик, записанный на китайском, может привлечь покупателей на других рынках, если заговорит на их языке. Профессиональный дубляж стоит дорого и занимает много времени. В этой статье на вашем собственном сервере собирается автоматический конвейер: faster-whisper расшифровывает исходную речь с таймкодами, локальная языковая модель переводит её построчно, Kokoro озвучивает каждую переведённую строку, а скрипт укладывает каждую строку в её исходный временной интервал. На выходе вы получаете дублированный MP4, файл переведённых субтитров и редактируемый перевод, который можно исправить перед финальным запуском.
Шаг 1: Установка компонентов
Настройте /opt/tts, как описано в статье ИИ-озвучка с Kokoro, включая дополнительные пакеты для японского, если он вам нужен. Перевод выполняется в Ollama, см. запуск локальной LLM с Ollama. Затем добавьте распознавание речи и клиент API:
/opt/tts/bin/pip install faster-whisper "av<19" openai # av<19: PyAV 19 is not yet compatible with faster-whisper 1.2
ollama pull qwen2.5:7bWhisper понимает около сотни исходных языков, а язык перевода должен быть одним из тех, на которых говорит Kokoro (см. таблицу голосов в руководстве по озвучке). Для остальных языков переводите только субтитры.
Шаг 2: Скрипт дубляжа
cat > /opt/tts/dub.py <<'EOF2'
import os, subprocess, sys
import numpy as np
import soundfile as sf
from faster_whisper import WhisperModel
from kokoro import KPipeline
from openai import OpenAI
TARGET = os.environ.get("TARGET", "English") # language name for the translator
LANG = os.environ.get("TTS_LANG", "a") # Kokoro language code of the target language
VOICE = os.environ.get("TTS_VOICE", "af_heart")
MAX_SPEED = float(os.environ.get("MAX_SPEED", "1.3")) # never speak faster than this to fit a line in
ORIGINAL = os.environ.get("ORIGINAL_VOLUME", "0.15") # keep the original audio quietly underneath (0 = remove)
RATE = 24000
client = OpenAI(base_url=os.environ.get("AI_BASE_URL", "http://127.0.0.1:11434/v1"),
api_key=os.environ.get("AI_API_KEY", "ollama"))
MODEL = os.environ.get("AI_MODEL", "qwen2.5:7b")
def ts(t):
ms = int(round(t * 1000))
h, ms = divmod(ms, 3600000)
m, ms = divmod(ms, 60000)
s, ms = divmod(ms, 1000)
return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"
def translate(text, previous):
r = client.chat.completions.create(model=MODEL, temperature=0.2, messages=[
{"role": "system", "content": f"Translate the line into natural spoken {TARGET} for a video voiceover. "
"Keep it about as short as the original and keep product names unchanged. Return only the translation."},
{"role": "user", "content": (f"Previous line, for context: {previous}\n" if previous else "") + f"Line: {text}"}])
return r.choices[0].message.content.strip()
src = sys.argv[1]
base = os.path.splitext(src)[0] + "." + TARGET.lower()
cache = base + ".lines.txt" # translations, one per line: edit and run again
fixed = open(cache, encoding="utf-8").read().splitlines() if os.path.exists(cache) else []
whisper = WhisperModel(os.environ.get("WHISPER_MODEL", "small"), device="cpu", compute_type="int8")
segments, info = whisper.transcribe(src, vad_filter=True)
segs = [(s.start, s.end, s.text.strip()) for s in segments]
pipeline = KPipeline(lang_code=LANG, repo_id="hexgrad/Kokoro-82M")
def speak(text, speed):
chunks = [np.asarray(a, dtype=np.float32) for _, _, a in pipeline(text, voice=VOICE, speed=speed)]
return np.concatenate(chunks) if chunks else np.zeros(0, dtype=np.float32)
track = np.zeros(int((info.duration + 1) * RATE), dtype=np.float32)
srt, lines, cursor = [], [], 0.0
for i, (start, end, text) in enumerate(segs):
line = fixed[i] if i < len(fixed) and fixed[i].strip() else translate(text, segs[i - 1][2] if i else "")
lines.append(line)
slot = (segs[i + 1][0] if i + 1 < len(segs) else info.duration) - start
audio = speak(line, 1.0)
if len(audio) / RATE > slot > 0: # too long for its place: speak a little faster
audio = speak(line, min(MAX_SPEED, len(audio) / RATE / slot))
at = max(start, cursor) # never overlap the previous line
a = int(at * RATE)
if a + len(audio) > len(track):
track = np.concatenate([track, np.zeros(a + len(audio) - len(track), dtype=np.float32)])
track[a:a + len(audio)] += audio
cursor = at + len(audio) / RATE
srt.append(f"{i + 1}\n{ts(at)} --> {ts(cursor)}\n{line}\n")
print(f"{ts(start)} {text} -> {line}", flush=True)
sf.write(base + ".wav", track[:int(max(info.duration, cursor) * RATE)], RATE)
with open(cache, "w", encoding="utf-8") as f:
f.write("\n".join(lines) + "\n")
with open(base + ".srt", "w", encoding="utf-8") as f:
f.write("\n".join(srt))
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", src, "-i", base + ".wav", "-filter_complex",
f"[0:a]volume={ORIGINAL}[o];[1:a][o]amix=inputs=2:duration=longest,loudnorm=I=-14:TP=-1.5[a]",
"-map", "0:v", "-map", "[a]", "-c:v", "copy", "-c:a", "aac", "-b:a", "160k", "-ar", "48000", "-ac", "2",
base + ".mp4"], check=True)
print("done:", base + ".mp4", base + ".srt")
EOF2Каждая переведённая строка начинается в тот же момент, что и исходная. Если она не помещается в свой интервал, она произносится быстрее, но не более чем на 30%; если и этого недостаточно, следующая строка начинается чуть позже, так что строки никогда не накладываются друг на друга. Исходная звуковая дорожка остаётся под озвучкой на низкой громкости, поэтому музыка и фоновые звуки сохраняются.
Шаг 3: Дубляж видео
cd /data/dub
TARGET=English TTS_LANG=a TTS_VOICE=af_heart /opt/tts/bin/python /opt/tts/dub.py promo-zh.mp4
TARGET=Japanese TTS_LANG=j TTS_VOICE=jf_alpha /opt/tts/bin/python /opt/tts/dub.py promo-zh.mp4Для каждого языка перевода рядом с видео появляются четыре файла, например promo-zh.english.mp4 (дублированное видео), .srt (переведённые субтитры), .wav (только голосовая дорожка) и .lines.txt (перевод, по одной строке на каждый исходный сегмент).
Шаг 4: Проверка и исправление перевода
- Посмотрите дублированное видео, сверяясь с файлом
promo-zh.english.lines.txt. - Исправьте неверные или слишком длинные строки прямо в этом файле, сохраняя по одной строке на сегмент.
- Запустите ту же команду ещё раз: скрипт не будет переводить заново, а возьмёт ваши исправленные строки и пересоберёт голос, субтитры и видео.
Полезные настройки: ORIGINAL_VOLUME=0 полностью убирает исходный звук, MAX_SPEED=1.2 делает речь спокойнее, а WHISPER_MODEL=medium точнее распознаёт исходную речь, но работает дольше.
Шаг 5: Финальная доработка
# Burn the translated subtitles into the dubbed video
ffmpeg -i promo-zh.english.mp4 -vf "subtitles=promo-zh.english.srt" -c:a copy promo-zh.english-sub.mp4- Чтобы убрать исходный голос, но сохранить фоновую музыку, сначала отделите вокал с помощью инструмента разделения источников звука, например Demucs. Он работает на CPU, но медленно.
- Перевод часто получается длиннее оригинала. Попросите в промпте перевода более краткие формулировки или сокращайте строки при проверке.
- Субтитры создаются автоматическим распознаванием речи, поэтому имена и номера моделей в оригинале могут быть распознаны неверно; проверяйте их при вычитке.
Частые вопросы
Совпадает ли озвучка с движением губ?
Нет. Это закадровый дубляж (voice-over), который хорошо подходит для демонстраций товаров, записей экрана и видео с закадровым голосом. Для синхронизации с губами (lip-sync) нужны другие модели, обычно с GPU, а если в кадре реальные люди, возникает вопрос их согласия.
Можно ли использовать для перевода облачный ИИ?
Да. Задайте AI_BASE_URL, AI_API_KEY и AI_MODEL для любого API, совместимого с OpenAI. В этом случае расшифровка покидает ваш сервер, поэтому пользуйтесь услугами провайдеров только в поддерживаемых ими регионах и в соответствии с их условиями.
Сколько времени занимает одно видео?
Распознавание, перевод и синтез голоса выполняются на CPU. Для минутного видео с моделью Whisper small и 7B-моделью для перевода рассчитывайте на несколько минут; самый медленный этап обычно перевод.
Если проблема не решена, создайте тикет — техническая поддержка IMIDC работает 24/7. Укажите IP сервера, версии ОС и Python, выполненную команду и полный текст ошибки, чтобы мы быстрее нашли причину.