一个人用 AI 做短剧（三）：先配音，再定画面，声音和口型

幕后2026年10月18日 · 约 6 分钟读完

为什么声音要排在画面前面

刚开始我走的是“想当然”的路：先出镜头，再往上配音。结果每一集都在打架。台词比镜头长，画面只能定格或者循环；镜头比台词长，角色就站在那儿发呆。我花在拉长、剪短上的时间，比真正做东西的时间还多。

后来我把顺序倒过来。剧本一锁定，先把每一句台词配出来，量出真实的音频长度，这个长度就是镜头的长度。画面去配合声音，而不是反过来。

这样“一分钟以内”这条规矩才算数。纸面上看着很短的剧本，一念出来很容易超时。唯一作数的是真实音频的长度，所以出第一张图之前，我先看的就是这个数。

一个角色，一个声音，从头到尾

每个角色整部剧只用一个固定的声音。观众认角色，认声音比认脸还快；声音一飘，角色就像换了个人。

剧本里每句台词还会标一个情绪：烦躁、得意、慌张、面无表情。这个标签会稍微调一下语速、音高和音量。但我是吃过亏才学到的：每个角色能调的幅度都要有上限。没有上限的时候，这一集为了“兴奋”把声音往上推，那一集为了“疲惫”往下压，放在一起听，就像两个不同的演员。

AI 助手这个角色的上限卡得最紧。机器的声音必须稳。AI 要是突然有了情绪，“淡定又过度自信的机器”这个梗就塌了。

节奏就是笑点

一分钟的短剧容不下平铺直叙的念白，所以我把节奏当成要专门导演的东西：

• 铺垫的台词稍微快一点。观众要的是信息，不是风景，铺垫利落，观众才会一直往前凑。
• 包袱那一句放慢、压低。整集只有这一句值得留出呼吸的空间。
• 停顿往两头走。接话要快，几乎踩着上一句；包袱之前的停顿要长，长到观众能感觉到“要来了”。处处都是不长不短的停顿，对白听起来就像机器人。

有个很小、很无聊的改动，效果却出奇地大。以前我每句台词后面都留一段比较宽裕的静音，图个保险。整集加起来，这些小空白攒成了不少“死气”，节奏发闷，可单看哪一个镜头都挑不出毛病。现在每句后面的静音收得很紧，只在落点那一拍故意停一下，给观众留出笑的时间。

不起眼的音频细节

念出来的字和字幕上的字分开

讲程序员的剧，满嘴技术名词，语音合成模型念错的不少。我的办法是一句台词存两个版本：送给配音的是按读音改写的文字，听起来对；放进字幕的是正确写法，看起来对。观众永远看不到那个奇怪的写法。

每一句一样响

有些声音天生就比别的小很多。小声的角色挨着大声的角色，观众就得一直去调音量。所以每一句都单独做响度统一。真要耳语或者吼，就在统一之后再做相对调整，让它是刻意的选择，而不是“选了哪个声音”带来的意外。

有些台词念不出来

角色盯着编译失败的屏幕，台词可能只有“？？？”。配音模型念不了这种，通常直接报错。这类台词改成画面上的文字。

一集里不混两种声音

如果配音服务做到一半出了问题，流程会直接停下，不会悄悄换一个配音引擎顶上。同一个角色后半集的声音有点不一样，比等一等再重跑糟糕得多。配好的每一句都有缓存，没改的台词绝不重新生成，重跑只动我真正改过的那几句。

剪掉意外的停顿

配音模型有时会在句子中间莫名其妙地停很久，尤其是在标点附近。这种停顿会被自动剪短，最后留下的长停顿，只有我自己写进去的那些。

口型：声音带着嘴动

音频做完之后还有第二份工作。生成有台词的镜头时，这个镜头的配音会作为目标音频交给一个音频驱动的视频模型，从第一帧开始就对齐。模型按这段声音去做脸部动画，嘴型跟着真实的台词走，而不是靠猜。

看了很多废片以后，总结出几条规矩：

1. 没人说话的镜头，目标音频给静音。如果音频留空，模型会自己编点东西：哼哼、嘀咕，嘴莫名其妙地在动。
2. 双人镜头，每人一条音轨。每条音轨是这个镜头的配音，但把另一个人的台词静音掉，画面左右两边分开驱动。否则两个人会一起对每一句的口型，像在合唱。
3. 听的人也要导演。不说话的那个人要闭着嘴，眼睛跟着说话的人。一张好的“听讲脸”，对笑点的贡献不比台词少。
4. 打电话的戏，镜头留在听电话的人身上。打来的人不出镜，他的声音加电话滤波，不驱动任何人的嘴。镜头停在接电话的人脸上，因为他的反应才是好笑的地方。

包袱落地之后，我通常会接一个短短的无声反应镜头。没有台词，只有一张正在消化刚才那句话的脸。它给观众留出笑的一拍，很多时候比那句台词本身还好笑。

下一篇

第四篇讲 AI 视频里最难的画面问题：让角色长得一样。同一个人怎么在每个镜头里都还是同一个人，以及这部剧怎么从 2D 静帧一路走到 3D 宽屏。