如何构建用于保持 AI 视频角色一致性的主参考素材包
主角色参考素材包可以锁定角色的面部特征、风格和身份,使其在每种 AI 视频生成模式中保持一致,避免面部漂移和风格不统一,也无需返工。本教程将带你构建包含 4 项素材的参考包,并将其应用于 Seedance 和 Kling 中的文生视频、图生视频和动作迁移工作流。你将获得可复用的提示词模板、针对不同模型的设置,以及用于修正残余漂移的换脸备选方案。
文章目录
为什么 AI 视频中的角色一致性会出现问题
你生成了一张完美的角色肖像,将其制作成精彩的开场镜头,却发现下一个角度中的角色鼻子更宽、发型不同,或肤色发生了变化。这些问题通常是由缺乏锚定的生成方式导致的,而不是提示词写得不好。每个文生视频模型对角色描述的理解都不同,因此即使提示词只有细微变化,也可能导致面部变形、五官不匹配、风格漂移,或疤痕和雀斑等细节丢失。
主角色参考素材包可以为角色身份建立唯一的可信来源。你不必为每个镜头从头描述角色,而是重复使用经过测试的素材,定义角色的面部、身体比例、辨识特征和视觉风格。
主参考素材包中的四项素材
- 高质量的主参考肖像
- 可复用的身份提示词模块
- 已保存的模型专属种子和生成设置
- 用于修正残余漂移的换脸源图像
锁定角色身份的三种方式
- 视觉参考锚定:将主肖像作为图生视频和动作迁移工作流的主要身份参考。
- 基于提示词锁定身份:每次文生视频提示词都以同一份结构化描述开头,说明角色的固定特征。
- 生成后修正:当快速运动、特写或困难的摄像机角度造成明显漂移时,使用换脸功能进行修正。
步骤 1 — 构建主参考肖像
主肖像是素材包中最重要的资产。它应当清晰呈现角色的标志性特征,同时避免可能干扰后续生成的可变元素。
- 使用正面四分之三视角,同时展示正面和侧面的细节。
- 选择自然、放松的表情。
- 使用均匀、柔和的光线,避免深重阴影。
- 选择纯白色、灰色或米色背景。
- 生成图像的最小宽度为 1024 像素,并确保面部细节清晰锐利。
使用 Flux 或 Seedream 等图像模型生成肖像,找到满意的结果后保存种子。
photorealistic 3/4 portrait of a 28-year-old woman, wavy auburn shoulder-length hair, hazel eyes with green flecks, freckles across nose and cheeks, soft neutral expression, plain light gray background, even studio lighting, sharp focus, high detail --ar 2:3 --seed 123456
预期结果:一张清晰的肖像,能够呈现所有固定身份特征,同时不被分散注意力的服装、配饰或场景干扰。
将最终图像与其完整提示词、种子、模型名称和生成设置一同保存。创建其他参考角度时,可以重复使用这些信息。
步骤 2 — 编写可复用的身份提示词模块
创建一段 30–50 个单词的固定描述,只包含永久特征。每次为该角色编写提示词时,都将此模块粘贴在开头。
| 固定身份特征 | 可变场景特征 |
|---|---|
| 脸型、下颌线和鼻型 | 服装、鞋子和配饰 |
| 眼睛颜色、发色和发质 | 表情、姿势和动作 |
| 肤色、疤痕、雀斑或胎记 | 背景、环境和光线 |
| 体型、身高和年龄范围 | 摄像机角度、景别和效果 |
身份模块示例:
28-year-old woman with a heart-shaped face, small straight nose, hazel eyes with green flecks, wavy auburn shoulder-length hair, freckles across her nose and cheeks, fair skin, and a slim 5-foot-6-inch build
在身份模块之后添加可变的场景信息:
[IDENTITY BLOCK], wearing a navy blue sweater and jeans, walking slowly down a sunlit city sidewalk, hands in pockets, casual gait, medium full shot, natural daylight, cinematic --motion 0.6 --style 0.85
预期结果:一段可复制粘贴的身份描述,在不同提示词中保持不变,而服装、动作、环境和摄像机细节可以变化。
步骤 3 — 保存模型专属设置
视频模型对提示词和参考图像的理解方式各不相同。Seedance 可能更偏好柔和的面部细节和风格化运动,而 Kling 可能更好地保留清晰的特征和身体比例。分别测试每个模型,并记录最接近主肖像效果的设置。
| 设置 | Seedance 起始值 | Kling 起始值 |
|---|---|---|
| 文生视频的风格强度 | 0.8–0.9 | 0.7–0.8 |
| 特写镜头的运动强度 | 0.5–0.7 | 0.4–0.6 |
| 全身镜头的运动强度 | 0.6–0.8 | 0.5–0.7 |
| 图生视频的参考权重 | 0.7–0.8 | 0.8–0.9 |
| 种子使用方式 | 文生视频中锁定 | 条件允许时在不同模式间锁定 |
这些数值只是起始点,并非保证值。可用的控制项及其行为可能会因模型版本或平台实现方式而变化。
在生成长片段之前,先用每个模型生成一段两秒的测试视频,并将其中的面部、头发、身体比例和整体风格与主参考图进行比较。
步骤 4 — 在不同生成模式中部署素材包
文生视频
将身份模块放在提示词开头,随后依次添加服装、动作、环境、摄像机指令和风格。应用已保存的种子和模型专属风格设置。这种模式适合建立镜头,以及不要求固定起始姿势的场景。
图生视频
使用主肖像或调整过姿势的衍生图像作为输入图像。在提示词中重复身份模块,并应用已保存的运动和参考权重设置。对于面部准确性很重要的特写和中景,这通常是最可靠的模式。
动作迁移
上传角色参考图和动作源片段。在可用时启用身份保持控制,并在提示词中加入身份模块。动作迁移适用于舞蹈、动作场面以及其他难以仅用文字描述的复杂运动。
步骤 5 — 检查并修正残余漂移
将每段生成的视频与主肖像进行比对。检查脸型、眼睛间距和颜色、鼻型、发际线、雀斑或疤痕、肤色以及身体比例。尤其注意头部快速运动、侧面视角、局部遮挡或夸张表情时的画面。
如果一段质量很高的视频出现明显的面部漂移,可以使用同一张主肖像进行换脸,而不必重新生成整段表演。
- 只修正面部足够清晰、漂移确实会造成影响的视频片段。
- 每次修正都使用同一张主肖像作为身份源。
- 如果有该控制项,可从约 0.7–0.8 的身份强度开始。
- 逐帧检查结果,确认是否存在对齐错误、闪烁或表情丢失。
换脸应当保留原始动作和时间节奏,但效果取决于面部可见度、头部角度、运动模糊以及具体工具。
长篇项目的进阶技巧
- 增加更多角度:当镜头列表有需要时,创建侧面、全身和后三分之四视角的参考图。
- 创建服装子素材包:为每套主要服装保存一张全身参考图,同时保持核心身份模块不变。
- 区分视觉风格:为角色的写实、插画和动画版本分别维护不同的素材包。
- 对素材包进行版本管理:每当角色设计发生变化时分配新的版本号,避免混用新旧参考图。
- 维护连续性日志:记录每个已批准片段所使用的模型版本、种子、提示词、宽高比、参考权重、运动强度和修正内容。
局限性
- 极端特写可能会暴露不同模型之间细微的皮肤纹理差异。
- 不寻常的面部毛发、特效化妆或高度独特的身体结构可能需要多张参考图。
- 快速或不规则的头部运动可能同时导致生成漂移和换脸对齐错误。
- 如果没有单独的参考素材包,角色可能无法在写实和动画风格之间顺利转换。
- 不同模型或模型更新中的种子及名称相似的控制项,其行为不一定相同。
常见问题
同一个参考素材包可以用于 Seedance 和 Kling 吗?
可以。重复使用相同的身份素材,但要分别测试并保存每个模型的设置。在投入制作较长镜头之前,先生成较短的对比片段。
需要多少张参考图?
对于短项目,一张优秀的四分之三肖像可能就足够了。加入一张全身图以保持服装和比例的一致性,并在需要侧面镜头时添加一张侧面图。
角色可以更换服装吗?
可以。保持身份模块和面部参考图不变,只修改服装描述。对于反复出现的服装,可以创建对应的全身参考图。
每个视频片段都必须使用相同的种子吗?
固定种子可以减少文生视频工作流中的变化。在图生视频和动作迁移中,参考图通常是更强的身份锚点,不过种子的行为会因模型而异。
换脸会保留动作和表情吗?
换脸的设计目标是保留底层表演,但仍应检查结果是否存在闪烁、对齐错误和表情丢失。
最终检查清单
- 具有四分之三视角、中性光线和平整背景的主参考肖像
- 只包含固定特征的可复用身份提示词模块
- 针对每个模型保存的种子、风格强度、运动强度和参考权重
- 用于换脸修正的一致源肖像
- 必要时准备的额外角度或服装参考图
- 记录每个已批准片段的连续性日志