一个人用 AI 做短剧(四):让角色长得一样,从 2D 静帧到 3D 宽屏
一句话:别让模型每一镜从零开始画。先做几样固定素材(每个角色一个定妆、每个地点一张空景),把它们合成一张起始帧,狠狠查一遍,再交给跟着配音走的视频模型让它动起来。
系列:一个人用 AI 做短剧
- 为什么做,以及一集的全貌
- 剧本与分镜:一分钟只讲一个梗
- 先配音,再定画面:声音和口型
- 让角色长得一样:从 2D 静帧到 3D 宽屏(本篇)
- 合成、自查与发布:机器筛一遍,人看一遍
- 用 Claude Code 当制片助理
没人提前告诉你的难题
让图像模型画“一个疲惫的程序员坐在工位前”,它能给你一张很好看的图。再让它画下一镜,你会得到另一个程序员、另一张桌子、另一件衣服。出一张好图不难,难的是三十个镜头里,同一个人坐在同一把椅子上、待在同一个房间里。这才是真正的活。
这部剧画风的每一次升级,几乎都是在和这一个问题较劲。
三种画风,三个卡点
会动的漫画
最早几集是静帧,加上缓慢的推拉摇移,再配音、加字幕。便宜、快,足够验证梗好不好笑。但同一张脸在镜头之间会一点点走样,观众很快发现“主角”的鼻子每镜都不一样。
部分真视频
后来我把一部分静帧换成生成的短视频片段。画面会动了,观感好了很多,但也带来了新毛病:背景里走进来没人要的路人,同事多了一个双胞胎,机位一换,办公室的布局也跟着变。
3D 宽屏
现在这部剧是暖色调的 3D 动画风格,16:9 宽屏。换过来不只是为了好看。风格化的 3D 比写实更能藏住小瑕疵;宽屏能让两个人同框,周围的房间还看得见。更重要的是,到这一步我已经不再让模型每一镜自己发挥了。这才是真正解决问题的地方。
方法:素材只做一次,每一镜都是拼出来的
现在每个镜头都要走四步。
- 角色定妆。每个角色一张全身参考图,纯色中性背景。描述要写死到很无聊的细节:年龄、体型、发型、每件衣服的颜色,再加一件标志性道具。定妆我只审一次,整个系列都用它。一集里不允许重新描述角色。
- 空场景。每个地点出一张完全没有人的空景。
- 合成起始帧。用图像编辑模型把第一步的角色放进第二步的场景里,得到这个镜头的第一帧。
- 跟着配音出视频。把起始帧和这一镜的配音一起交给视频模型,让画面动起来,嘴型跟着台词走。
每一步都有自己的坑,下面一步一步说。
让空景真的是空的
场景的画风描述里只要提到人物,模型就会往空房间里塞人。所以场景只用描述环境的词,写成“一个空房间的静物镜头”。
布局写相对关系,不写方位。我以前会写哪面墙朝北。模型根本不知道北在哪,每换一个机位就重新定一次“北”,结果上一镜工位正对窗户,下一镜就侧过去了。现在写“工位和窗户那面墙平行”,换哪个角度都站得住。
每一面会入画的墙都要有一个地标:门、窗、白板。留一面空墙,模型就会“好心”帮你填满,通常是一排书架,而且每次是不同的书架。
只要一场戏里不止一个人,生成任何东西之前我都会先写一张站位表:平面图、谁坐哪儿、每个人脸朝哪边、机位在哪。一分钟的短剧做这个听起来小题大做,其实不是。两个角色在镜头之间互换座位,是最快让观众出戏的方式之一。
合成:一次放一个人,全部从一张母版来
一次把两个人放进场景,模型容易把他们混在一起,比如给两人穿上同一套衣服。所以一次只放一个:先放左边的人,再在结果上加右边的人。
每场戏只做一张全景母版,最多再加一个反打。近景从母版里裁出来,而不是单独生成,这样角色身后就是同一个房间,一模一样。同一个人、同一个机位说的几句台词,共用同一张起始帧。
合成出来的画面往往太满,脸几乎占满屏幕。我会把景别往回拉,让人物周围露出房间。坐着的角色用坐姿参考来合成,否则站姿参考放到桌子后面只剩半个人。每张图还要查头顶留白,被切掉的头顶一旦看见就忘不掉。
光线和肤色也在这一步定。起始帧是什么光,整个镜头就是什么光。后来我挑了一集自己最喜欢的配色,把它的光线定为之后每一集的标准。
视频跟着声音走
配音是先做好的(第三篇讲过),视频模型由这条音轨驱动,所以嘴型跟着真实的台词动。长对话拆成几个短段首尾相接:每一段都从上一段在剪辑里被切走的那一帧开始,动作接得上,不会跳。
起始帧关
出图便宜,出视频又慢又贵。所以进视频之前的最后一道检查,是整条流程里最重要的一道。所有起始帧拼成一张联系表,再逐张放大核对:
- 坐着的人真的坐在座位上,没有悬空半蹲。
- 每只手都落在实处:腿上、桌上、扶手上,没有抓空气的手。
- 对话中的人在看对方,而不是眼神错开。
- 没有多余的人,包括“单人镜”里一个虚化的后脑勺。
- 没有假字,没有编出来的 logo。
- 头顶没有被画面上沿切掉。
其中一部分是自动的:机器会把每张起始帧和站位表对照,标出坐错位置或者朝向不对的人。但比任何一项检查都重要的是一条规矩:出图的一方永远不给自己打分。早期有一次自查把所有座位都判成正确,而画面里两个角色明明坐反了。
下一篇
第五篇讲镜头都有了以后的事:合成、自查与发布。一集怎么拼起来,机器能查出什么、查不出什么,以及为什么发出去之前我一定要自己从头看一遍。
想先看看成片?全部剧集都在视频页。
看《硅谷码农那些事儿》