返回博客
综合

如何构建用于保持 AI 视频角色一致性的主参考素材包

主角色参考素材包可以锁定角色的面部特征、风格和身份,使其在每种 AI 视频生成模式中保持一致,避免面部漂移和风格不统一,也无需返工。本教程将带你构建包含 4 项素材的参考包,并将其应用于 Seedance 和 Kling 中的文生视频、图生视频和动作迁移工作流。你将获得可复用的提示词模板、针对不同模型的设置,以及用于修正残余漂移的换脸备选方案。

如何构建用于保持 AI 视频角色一致性的主参考素材包
MagicBoat AI7 分钟阅读33 次阅读
文章目录

为什么 AI 视频中的角色一致性会出现问题

你生成了一张完美的角色肖像,将其制作成精彩的开场镜头,却发现下一个角度中的角色鼻子更宽、发型不同,或肤色发生了变化。这些问题通常是由缺乏锚定的生成方式导致的,而不是提示词写得不好。每个文生视频模型对角色描述的理解都不同,因此即使提示词只有细微变化,也可能导致面部变形、五官不匹配、风格漂移,或疤痕和雀斑等细节丢失。

主角色参考素材包可以为角色身份建立唯一的可信来源。你不必为每个镜头从头描述角色,而是重复使用经过测试的素材,定义角色的面部、身体比例、辨识特征和视觉风格。

主参考素材包中的四项素材

  1. 高质量的主参考肖像
  2. 可复用的身份提示词模块
  3. 已保存的模型专属种子和生成设置
  4. 用于修正残余漂移的换脸源图像

锁定角色身份的三种方式

  • 视觉参考锚定:将主肖像作为图生视频和动作迁移工作流的主要身份参考。
  • 基于提示词锁定身份:每次文生视频提示词都以同一份结构化描述开头,说明角色的固定特征。
  • 生成后修正:当快速运动、特写或困难的摄像机角度造成明显漂移时,使用换脸功能进行修正。

步骤 1 — 构建主参考肖像

主肖像是素材包中最重要的资产。它应当清晰呈现角色的标志性特征,同时避免可能干扰后续生成的可变元素。

  • 使用正面四分之三视角,同时展示正面和侧面的细节。
  • 选择自然、放松的表情。
  • 使用均匀、柔和的光线,避免深重阴影。
  • 选择纯白色、灰色或米色背景。
  • 生成图像的最小宽度为 1024 像素,并确保面部细节清晰锐利。

使用 Flux 或 Seedream 等图像模型生成肖像,找到满意的结果后保存种子。

photorealistic 3/4 portrait of a 28-year-old woman, wavy auburn shoulder-length hair, hazel eyes with green flecks, freckles across nose and cheeks, soft neutral expression, plain light gray background, even studio lighting, sharp focus, high detail --ar 2:3 --seed 123456

预期结果:一张清晰的肖像,能够呈现所有固定身份特征,同时不被分散注意力的服装、配饰或场景干扰。

将最终图像与其完整提示词、种子、模型名称和生成设置一同保存。创建其他参考角度时,可以重复使用这些信息。

步骤 2 — 编写可复用的身份提示词模块

创建一段 30–50 个单词的固定描述,只包含永久特征。每次为该角色编写提示词时,都将此模块粘贴在开头。

固定身份特征可变场景特征
脸型、下颌线和鼻型服装、鞋子和配饰
眼睛颜色、发色和发质表情、姿势和动作
肤色、疤痕、雀斑或胎记背景、环境和光线
体型、身高和年龄范围摄像机角度、景别和效果

身份模块示例:

28-year-old woman with a heart-shaped face, small straight nose, hazel eyes with green flecks, wavy auburn shoulder-length hair, freckles across her nose and cheeks, fair skin, and a slim 5-foot-6-inch build

在身份模块之后添加可变的场景信息:

[IDENTITY BLOCK], wearing a navy blue sweater and jeans, walking slowly down a sunlit city sidewalk, hands in pockets, casual gait, medium full shot, natural daylight, cinematic --motion 0.6 --style 0.85

预期结果:一段可复制粘贴的身份描述,在不同提示词中保持不变,而服装、动作、环境和摄像机细节可以变化。

步骤 3 — 保存模型专属设置

视频模型对提示词和参考图像的理解方式各不相同。Seedance 可能更偏好柔和的面部细节和风格化运动,而 Kling 可能更好地保留清晰的特征和身体比例。分别测试每个模型,并记录最接近主肖像效果的设置。

设置Seedance 起始值Kling 起始值
文生视频的风格强度0.8–0.90.7–0.8
特写镜头的运动强度0.5–0.70.4–0.6
全身镜头的运动强度0.6–0.80.5–0.7
图生视频的参考权重0.7–0.80.8–0.9
种子使用方式文生视频中锁定条件允许时在不同模式间锁定

这些数值只是起始点,并非保证值。可用的控制项及其行为可能会因模型版本或平台实现方式而变化。

在生成长片段之前,先用每个模型生成一段两秒的测试视频,并将其中的面部、头发、身体比例和整体风格与主参考图进行比较。

步骤 4 — 在不同生成模式中部署素材包

文生视频

将身份模块放在提示词开头,随后依次添加服装、动作、环境、摄像机指令和风格。应用已保存的种子和模型专属风格设置。这种模式适合建立镜头,以及不要求固定起始姿势的场景。

图生视频

使用主肖像或调整过姿势的衍生图像作为输入图像。在提示词中重复身份模块,并应用已保存的运动和参考权重设置。对于面部准确性很重要的特写和中景,这通常是最可靠的模式。

动作迁移

上传角色参考图和动作源片段。在可用时启用身份保持控制,并在提示词中加入身份模块。动作迁移适用于舞蹈、动作场面以及其他难以仅用文字描述的复杂运动。

步骤 5 — 检查并修正残余漂移

将每段生成的视频与主肖像进行比对。检查脸型、眼睛间距和颜色、鼻型、发际线、雀斑或疤痕、肤色以及身体比例。尤其注意头部快速运动、侧面视角、局部遮挡或夸张表情时的画面。

如果一段质量很高的视频出现明显的面部漂移,可以使用同一张主肖像进行换脸,而不必重新生成整段表演。

  • 只修正面部足够清晰、漂移确实会造成影响的视频片段。
  • 每次修正都使用同一张主肖像作为身份源。
  • 如果有该控制项,可从约 0.7–0.8 的身份强度开始。
  • 逐帧检查结果,确认是否存在对齐错误、闪烁或表情丢失。

换脸应当保留原始动作和时间节奏,但效果取决于面部可见度、头部角度、运动模糊以及具体工具。

长篇项目的进阶技巧

  • 增加更多角度:当镜头列表有需要时,创建侧面、全身和后三分之四视角的参考图。
  • 创建服装子素材包:为每套主要服装保存一张全身参考图,同时保持核心身份模块不变。
  • 区分视觉风格:为角色的写实、插画和动画版本分别维护不同的素材包。
  • 对素材包进行版本管理:每当角色设计发生变化时分配新的版本号,避免混用新旧参考图。
  • 维护连续性日志:记录每个已批准片段所使用的模型版本、种子、提示词、宽高比、参考权重、运动强度和修正内容。

局限性

  • 极端特写可能会暴露不同模型之间细微的皮肤纹理差异。
  • 不寻常的面部毛发、特效化妆或高度独特的身体结构可能需要多张参考图。
  • 快速或不规则的头部运动可能同时导致生成漂移和换脸对齐错误。
  • 如果没有单独的参考素材包,角色可能无法在写实和动画风格之间顺利转换。
  • 不同模型或模型更新中的种子及名称相似的控制项,其行为不一定相同。

常见问题

同一个参考素材包可以用于 Seedance 和 Kling 吗?

可以。重复使用相同的身份素材,但要分别测试并保存每个模型的设置。在投入制作较长镜头之前,先生成较短的对比片段。

需要多少张参考图?

对于短项目,一张优秀的四分之三肖像可能就足够了。加入一张全身图以保持服装和比例的一致性,并在需要侧面镜头时添加一张侧面图。

角色可以更换服装吗?

可以。保持身份模块和面部参考图不变,只修改服装描述。对于反复出现的服装,可以创建对应的全身参考图。

每个视频片段都必须使用相同的种子吗?

固定种子可以减少文生视频工作流中的变化。在图生视频和动作迁移中,参考图通常是更强的身份锚点,不过种子的行为会因模型而异。

换脸会保留动作和表情吗?

换脸的设计目标是保留底层表演,但仍应检查结果是否存在闪烁、对齐错误和表情丢失。

最终检查清单

  • 具有四分之三视角、中性光线和平整背景的主参考肖像
  • 只包含固定特征的可复用身份提示词模块
  • 针对每个模型保存的种子、风格强度、运动强度和参考权重
  • 用于换脸修正的一致源肖像
  • 必要时准备的额外角度或服装参考图
  • 记录每个已批准片段的连续性日志