AI 视频翻译配音教程：Whisper 语音识别、大模型逐句翻译、Kokoro 重新配音

用中文录制的产品演示、教程或品牌视频，只要换成当地语言，就能触达其他市场的买家。专业配音价格高、周期长。本文在你自己的服务器上搭建一套自动化流程：faster-whisper 识别原视频语音并生成时间戳，本地大语言模型逐句翻译，Kokoro 朗读每一句译文，脚本再把每句配音放回原来的时间段。最终你会得到一个配音后的 MP4、一份翻译好的字幕文件，以及一份可编辑的译文，可以在最终生成前修改校对。

步骤 1：安装组件

按照用 Kokoro 生成 AI 配音的方法配置好 /opt/tts，如果需要日语，还要安装日语所需的额外软件包。翻译由 Ollama 完成，请参阅使用 Ollama 运行本地大模型。然后添加语音识别组件和 API 客户端：

/opt/tts/bin/pip install faster-whisper "av<19" openai     # av<19: PyAV 19 is not yet compatible with faster-whisper 1.2
ollama pull qwen2.5:7b

Whisper 能识别约一百种源语言；目标语言则必须是 Kokoro 支持的语言（参见配音教程中的音色表）。其他目标语言只能翻译字幕。

步骤 2：创建配音脚本

cat > /opt/tts/dub.py <<'EOF2'
import os, subprocess, sys
import numpy as np
import soundfile as sf
from faster_whisper import WhisperModel
from kokoro import KPipeline
from openai import OpenAI

TARGET = os.environ.get("TARGET", "English")             # language name for the translator
LANG = os.environ.get("TTS_LANG", "a")                   # Kokoro language code of the target language
VOICE = os.environ.get("TTS_VOICE", "af_heart")
MAX_SPEED = float(os.environ.get("MAX_SPEED", "1.3"))    # never speak faster than this to fit a line in
ORIGINAL = os.environ.get("ORIGINAL_VOLUME", "0.15")     # keep the original audio quietly underneath (0 = remove)
RATE = 24000
client = OpenAI(base_url=os.environ.get("AI_BASE_URL", "http://127.0.0.1:11434/v1"),
                api_key=os.environ.get("AI_API_KEY", "ollama"))
MODEL = os.environ.get("AI_MODEL", "qwen2.5:7b")

def ts(t):
    ms = int(round(t * 1000))
    h, ms = divmod(ms, 3600000)
    m, ms = divmod(ms, 60000)
    s, ms = divmod(ms, 1000)
    return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"

def translate(text, previous):
    r = client.chat.completions.create(model=MODEL, temperature=0.2, messages=[
        {"role": "system", "content": f"Translate the line into natural spoken {TARGET} for a video voiceover. "
         "Keep it about as short as the original and keep product names unchanged. Return only the translation."},
        {"role": "user", "content": (f"Previous line, for context: {previous}\n" if previous else "") + f"Line: {text}"}])
    return r.choices[0].message.content.strip()

src = sys.argv[1]
base = os.path.splitext(src)[0] + "." + TARGET.lower()
cache = base + ".lines.txt"                              # translations, one per line: edit and run again
fixed = open(cache, encoding="utf-8").read().splitlines() if os.path.exists(cache) else []
whisper = WhisperModel(os.environ.get("WHISPER_MODEL", "small"), device="cpu", compute_type="int8")
segments, info = whisper.transcribe(src, vad_filter=True)
segs = [(s.start, s.end, s.text.strip()) for s in segments]
pipeline = KPipeline(lang_code=LANG, repo_id="hexgrad/Kokoro-82M")

def speak(text, speed):
    chunks = [np.asarray(a, dtype=np.float32) for _, _, a in pipeline(text, voice=VOICE, speed=speed)]
    return np.concatenate(chunks) if chunks else np.zeros(0, dtype=np.float32)

track = np.zeros(int((info.duration + 1) * RATE), dtype=np.float32)
srt, lines, cursor = [], [], 0.0
for i, (start, end, text) in enumerate(segs):
    line = fixed[i] if i < len(fixed) and fixed[i].strip() else translate(text, segs[i - 1][2] if i else "")
    lines.append(line)
    slot = (segs[i + 1][0] if i + 1 < len(segs) else info.duration) - start
    audio = speak(line, 1.0)
    if len(audio) / RATE > slot > 0:                       # too long for its place: speak a little faster
        audio = speak(line, min(MAX_SPEED, len(audio) / RATE / slot))
    at = max(start, cursor)                                # never overlap the previous line
    a = int(at * RATE)
    if a + len(audio) > len(track):
        track = np.concatenate([track, np.zeros(a + len(audio) - len(track), dtype=np.float32)])
    track[a:a + len(audio)] += audio
    cursor = at + len(audio) / RATE
    srt.append(f"{i + 1}\n{ts(at)} --> {ts(cursor)}\n{line}\n")
    print(f"{ts(start)} {text} -> {line}", flush=True)

sf.write(base + ".wav", track[:int(max(info.duration, cursor) * RATE)], RATE)
with open(cache, "w", encoding="utf-8") as f:
    f.write("\n".join(lines) + "\n")
with open(base + ".srt", "w", encoding="utf-8") as f:
    f.write("\n".join(srt))
subprocess.run(["ffmpeg", "-y", "-loglevel", "error", "-i", src, "-i", base + ".wav", "-filter_complex",
                f"[0:a]volume={ORIGINAL}[o];[1:a][o]amix=inputs=2:duration=longest,loudnorm=I=-14:TP=-1.5[a]",
                "-map", "0:v", "-map", "[a]", "-c:v", "copy", "-c:a", "aac", "-b:a", "160k", "-ar", "48000", "-ac", "2",
                base + ".mp4"], check=True)
print("done:", base + ".mp4", base + ".srt")
EOF2

每句译文都从原句开始的时间点开始播放。如果译文太长、超出了原来的时间段，就会加快语速朗读，最多快 30%；如果仍然放不下，下一句会稍微推后开始，因此句子之间永远不会重叠。原视频音频会以较低音量保留在配音下方，从而保留背景音乐和环境音。

步骤 3：为视频配音

cd /data/dub
TARGET=English TTS_LANG=a TTS_VOICE=af_heart /opt/tts/bin/python /opt/tts/dub.py promo-zh.mp4
TARGET=Japanese TTS_LANG=j TTS_VOICE=jf_alpha /opt/tts/bin/python /opt/tts/dub.py promo-zh.mp4

每种目标语言都会在视频旁边生成四个文件，例如 promo-zh.english.mp4（配音后的视频）、.srt（翻译字幕）、.wav（纯配音音轨）和 .lines.txt（译文，每个原始语音片段对应一行）。

步骤 4：审核并修改译文

1. 对照 promo-zh.english.lines.txt 观看配音后的视频。
2. 直接在该文件中修改翻译错误或过长的句子，保持每个片段一行。
3. 再次运行同样的命令：脚本会使用你修改后的译文，不再重新翻译，并重新生成配音、字幕和视频。

常用设置：ORIGINAL_VOLUME=0 会完全去掉原视频音频，MAX_SPEED=1.2 让语速更平缓，WHISPER_MODEL=medium 能更准确地识别原视频语音，但耗时更长。

步骤 5：后期完善

# Burn the translated subtitles into the dubbed video
ffmpeg -i promo-zh.english.mp4 -vf "subtitles=promo-zh.english.srt" -c:a copy promo-zh.english-sub.mp4

• 如果要去掉原声人声、保留背景音乐，可以先用 Demucs 等音源分离工具把人声分离出来。它可以在 CPU 上运行，但速度较慢。
• 译文往往比原文长。可以在翻译提示词中要求措辞更简短，或在审核时缩短句子。
• 字幕基于自动语音识别生成，原视频中的人名和型号可能会被听错，请在审核时重点检查。

常见问题

能对上口型吗？

不能。这是旁白式配音，适合产品演示、录屏和有旁白讲解的视频。对口型需要使用其他模型，通常还需要 GPU，而且画面中出现真人时，还涉及是否取得本人同意的问题。

翻译可以用云端 AI 吗？

可以。为任意兼容 OpenAI 的 API 设置 AI_BASE_URL、AI_API_KEY 和 AI_MODEL 即可。这样转写文本就会离开你的服务器，因此请仅在服务商支持的地区、按其服务条款使用。

处理一条视频需要多长时间？

语音识别、翻译和配音生成都在 CPU 上运行。使用 small 版 Whisper 模型和 7B 翻译模型时，一分钟的视频预计需要几分钟；其中翻译通常是最慢的环节。

如果按以上步骤操作后问题仍未解决，请提交工单联系 IMIDC 7×24 技术支持，并附上服务器 IP、系统版本和 Python 版本、执行过的命令以及完整报错信息，方便工程师快速定位。