返回博客
综合

如何创建不变形且可信的 AI 行走视频

通过从全身锚定帧开始、将移动限制在一条清晰路径上,并分别提示步态机制和镜头运动,创建可信的 AI 行走视频。本教程比较图生视频与动作迁移,并介绍如何诊断脚部滑动、腿部像橡胶一样变形、服装不稳定以及身体比例变化等问题。

如何创建不变形且可信的 AI 行走视频
MagicBoat AI12 分钟阅读280 次阅读
文章目录

TL;DR

创建可信 AI 行走视频最快的方法,是从一张干净的全身图像开始,确保角色的完整步幅都处于可见范围内,并使用图生视频,搭配简短的动作提示词,分别描述移动方向、速度、脚部接触和镜头行为。如果生成的行走效果仍然出现脚部滑动或四肢不稳定,请使用真实的行走片段作为动作参考,而不是要求模型自行创造步态。

行走看似简单,却是检验时间一致性最直观的方法之一。因此,一个实用的工作流程应将行走、镜头、环境和剪辑视为彼此独立的决策,而不是把所有内容压缩进一个电影感提示词中。

为什么 AI 行走视频会变形、滑动或漂浮

令人信服的行走是一组重复的物理动作序列。一只脚支撑身体,另一只脚向前移动;髋部转移到支撑腿上方;双臂做反向摆动;角色的身体则在空间中向前移动。视频模型必须在大量帧中保持这些关系。

当生成结果失去这种结构时,错误会立刻显现。常见症状包括:

  • 脚部滑动:本应固定不动的支撑脚却沿地面移动。
  • 漂浮:身体向前移动,却没有足够的垂直重心转移或地面接触。
  • 腿部融合:双腿交叉迈步时相互重叠,暂时变成一个形状。
  • 比例变化:大腿、小腿、鞋子或躯干在不同帧之间变长或变短。
  • 服装扰动:外套、裙子或宽松裤装独立于身体运动,遮挡了步态。
  • 镜头冲突:提示词要求角色靠近镜头,但镜头同时环绕、变焦并后退。

详细的视觉描述并不保证更好的运动效果。对于行走镜头,更少的动作和更清晰的空间约束,通常能让结果更容易评估和重新生成。

生成行走镜头的三种方式

有三种实用方法,分别适用于不同程度的控制需求。

方法最适合主要局限
文生视频角色设计不必完全确定时进行快速探索身份、服装和步态必须同时由模型创造
图生视频拥有经过设计的角色,并希望控制起始构图模型必须推断隐藏姿势和后续脚部位置
动作迁移需要特定速度、手势、转身或表演源动作必须与目标身体和构图兼容

本指南以图像驱动的生成为主要流程,因为起始帧可以直接控制角色设计、服装、地点、画面比例和屏幕移动方向。当步态准确性比生成自由度更重要时,则将动作迁移作为备选方案介绍。

MagicBoat 如何处理行走视频工作流

MagicBoat 将图像生成模型和视频生成模型整合在同一个账户中,因此你可以使用 Seedream、Flux 或 GPT Image 等选项创建锚定帧,然后使用 Seedance 或 Kling 等视频模型测试同一帧。这很有用,因为行走质量可能会受到构图、视觉风格、所要求动作以及模型行为的影响。

当生成的步态不够可控时,你还可以切换到动作迁移。与其不断重写提示词,不如录制一段干净的参考表演,并利用其中可见的身体运动来引导角色。

重要原则是:使用相同输入比较模型。在第一次测试期间,保持锚定图像、时长、宽高比和核心动作指令不变。否则,你无法判断改进究竟来自模型,还是来自不同的镜头设计。

生成前需要准备什么

  • 对角色的清晰描述或参考图。
  • 具有清晰且基本平坦行走表面的地点。
  • 确定移动方向:朝向镜头、远离镜头或横穿画面。
  • 首次测试时应选择能让腿部清晰可见的简单服装。
  • 可选:用于动作迁移的目标行走手机录制视频。
  • 用于裁剪和拼接最终片段的基础编辑器。

不要一开始就计划让角色穿越多个环境完成长距离连续行走。首先生成一个包含几步清晰可读动作的稳定镜头。确认效果后,再使用独立片段构建更长的序列。

步骤 1——定义一个行走节拍

将镜头写成一个物理动作节拍,而不是一段故事文字。明确角色从哪里开始、向哪个方向移动、行走速度如何,以及镜头在哪里结束。

镜头节拍:
一名快递员从画面左侧三分之一处开始。
他们沿着干燥的人行道从左向右平稳行走。
速度稳定自然,手臂放松摆动。
镜头保持腰部高度并平行跟拍。
镜头在快递员到达画面右边缘之前结束。

这个节拍消除了几种常见的歧义。模型不需要决定表演者是否转身、加速、靠近镜头或改变方向。

预期结果:包含一条移动路径、一种速度和一种镜头行为的镜头计划。

连续帧中显示支撑脚接触地面的行走序列
连续帧中显示支撑脚接触地面的行走序列

步骤 2——创建适合运动的锚定帧

生成或选择一张全身起始图像。双脚都应清晰可见,鞋子下方留出空间,并在移动方向上留出空旷区域。避免让角色紧贴家具、人群、栏杆或复杂阴影,因为这些元素可能与腿部融合。

相比将角色定格在步幅最大的位置,中性的站立姿势更安全。极端姿势可能迫使模型立即处理困难的平衡和四肢交叉问题。

全身编辑摄影,一名成年自行车快递员站在安静的城市人行道上,简单的铁锈红夹克,笔直的深色长裤,实用的低帮鞋,放松自然的中性站姿,双臂清晰可见,双脚完整可见,双腿之间有明显间隔,右侧留出开阔的行走空间,平坦的人行道,柔和的阴天日光,真实的身体比例,平视镜头,自然纪实摄影

如果需要侧面行走,起始时应让躯干和双脚大致朝向侧面。如果锚定帧中的角色面向镜头,却必须立即横向行走,模型就需要先创造一个转身动作,然后才能建立步态。

预期结果:一张全身清晰可读的画面,腿部轮廓简单明确,并为运动提供足够的负空间。

适合行走动画的较弱与较强全身锚定帧对比
适合行走动画的较弱与较强全身锚定帧对比

步骤 3——让构图匹配行走方向

构图会影响运动稳定性。横穿画面的角色需要横向空间,而朝镜头走来的角色则需要环境中具有可见的纵深。

行走方向推荐构图注意事项
横穿画面全身,侧面或四分之三侧面,前方留出空间腿部重叠和跟拍速度不一致
朝向镜头居中的路径、对称的地面、适中的距离身体快速变大和面部漂移
远离镜头清晰的消失点,角色位于地平线下方四肢缩小和肩宽变化
镜头从后方跟随稳定的背面视角和不受阻挡的路径过度的镜头颠簸或左右漂移

首次尝试时,使用横向穿越镜头。这样更容易检查脚部接触、步幅长度和向前进度。保持地平线水平,避免使用非常广的镜头,因为这会夸大画面边缘附近的身体比例。

预期结果:空旷区域能够清楚传达角色将要移动方向的画面。

步骤 4——分离身体运动与镜头运动

使用包含不同条款的结构化提示词。先描述角色动作,再加入步态的物理线索,定义镜头,最后补充稳定性限制。不要以情绪形容词或冗长的角色描述开头;锚定帧已经包含这些信息。

快递员以放松的速度从左向右稳定行走。自然的脚跟到脚尖落步,脚部清晰接触人行道,细微的垂直重心转移,放松的反向手臂摆动。镜头以相同速度平行跟拍,保持全身侧面视角和恒定距离。身体比例稳定,服装一致,地面水平,不转身,不奔跑,不突然移动镜头。

脚跟到脚尖、脚部接触和重心转移等词语描述的是可见的运动机制,比“真实地行走”这类模糊指令更有用。不过,不要用解剖学细节填满提示词。目标是建立几个强约束,而不是模拟每一个关节。

预期结果:让模型维持一种步态关系和一种镜头关系的提示词。

步骤 5——使用相同输入测试 Seedance 和 Kling

使用可用的 Seedance 和 Kling 选项处理锚定帧和核心提示词,测试期间不要改变镜头设计。在可用设置允许的情况下,使用相同的输出方向和相近的片段长度。

按模型和测试编号标记输出。然后评估运动,而不只是判断开头画面。一个视觉上很吸引人的片段,如果脚部滑动或角色身高发生变化,也不一定是最好的行走素材。

受控比较清单:
- 相同的锚定帧
- 相同的行走方向
- 相同的核心提示词
- 相同的构图目标
- 相近的时长和宽高比
- 在改写提示词前,每个模型先生成一次

第一次比较后,每次只修改一个提示词内容。例如,将移动镜头替换为固定镜头,或将快步行走改为平静行走。如果同时改变地点、服装、步态和镜头,测试就失去了价值。

预期结果:可进行比较的片段,能够揭示哪个模型更可靠地处理特定角色和构图。

步骤 6——逐帧检查行走效果

先以正常速度观看每个结果,然后放慢速度。重点观察支撑动作机制,而不是细小的纹理波动。

  1. 找到一只鞋看起来固定在地面上的时刻。
  2. 前进几帧,检查这只鞋是否仍然贴在地面的同一点上。
  3. 观察另一条腿经过支撑腿时的状态。
  4. 检查髋部是否与躯干保持连接,且没有拉伸。
  5. 比较角色在开头和结尾的身高与肩宽。
  6. 单独观察双手,检查是否出现手指融合或与服装接触异常。

移动过程中出现少量鞋部模糊可能是可以接受的。滑动则不同:脚看起来仍然固定在地面上,却沿表面漂移。如果整个片段都出现这种情况,裁剪无法解决潜在的步态问题。

预期结果:明确诊断主要问题究竟是脚部接触、四肢结构、身体比例、镜头运动还是服装不稳定。

步骤 7——一次只修复一个问题并重新生成

根据症状匹配修正方法。在确定问题之前,不要先添加一长串负面提示词。

问题首先尝试的修正
脚部滑动使用固定镜头或更简单的跟拍镜头,并强调清晰的地面接触
腿部融合使用更清晰的侧面视角、更慢的速度,或能更好分离双腿的服装
身体漂浮加入细微的垂直重心转移和可见的脚跟到脚尖落步
角色变大过快将靠近镜头的镜头替换为横向穿越镜头
外套或裙子变形缩短服装、简化轮廓或减小风力
镜头抖动先要求使用固定镜头,再尝试跟拍镜头

如果下半身正常但镜头有问题,保留动作描述,只简化镜头条款。如果镜头正常但腿部有问题,应改变姿势、速度或观看角度,而不是添加更多电影化语言。

预期结果:第二次测试直接解决已诊断的问题,同时不引入无关变化。

步骤 8——使用短小的可用片段构建更长的行走

不要要求一次生成承载完整的行走序列。创建编辑素材覆盖:一个宽幅建立镜头、一个横向全身行走镜头、一个中景跟拍镜头,以及一个细节镜头,例如鞋子跨过地面上的涂装线。

除非剪辑明确建立了新的方向,否则应让角色在多个镜头中保持相同的屏幕移动方向。如果第一个片段从左向右移动,下一个片段却在没有合理角度变化的情况下从右向左移动,角色可能会看起来像是突然掉头。

在明显变形开始前裁剪片段。在手臂摆动、交叉迈步、前景遮挡或镜头运动期间剪切。这些时刻比双脚静止且完全可见时剪切更能掩盖姿势上的细微差异。

使用生成来创建出色的单个镜头,使用剪辑来创造时长。一组受控片段通常比一个负担过重的提示词更容易管理。

预期结果:由稳定片段组成的较长行走序列,而不是一个不断恶化的单次长镜头。

替代方案:使用动作迁移实现特定步态

当行走本身承载特定含义时,切换到动作迁移:例如跛行、T 台步、谨慎靠近、滑稽小碎步、舞蹈式入场或在特定时间转身。录制表演时应让全身清晰可见,使用稳定镜头和均匀光线,并确保没有障碍物穿过四肢。

在构图和身体方向方面,应尽可能匹配源表演者与目标角色。严格侧面构图的目标图像,不适合使用正面朝向的源视频作为指导。同样,目标角色的长外套可能会遮挡腿部位置,而这些位置在源视频中十分明显。

为了获得最佳可读性,请从以下条件开始:

  • 单独一名表演者。
  • 平坦地面和整洁背景。
  • 表演过程中不进行镜头变焦。
  • 尽可能让双手与躯干分离。
  • 几步干净的行走,而不是一条很长的路线。

动作迁移可以更好地控制时间和姿势,但并不能消除所有渲染问题。迁移后仍应像检查生成片段一样,仔细检查脚部、双手、服装边缘和面部细节。

从录制行走到风格化角色的动作迁移流程
从录制行走到风格化角色的动作迁移流程

在多个镜头中保持相同的步态

要让多个角度看起来像同一次连续表演,请定义可重复使用的步态规范。将速度、姿势、手臂摆动和情绪能量与镜头语言分开。

可重复使用的步态规范:
平静而坚定的行走
中等长度步幅
直立姿势
肩膀放松
细微的反向手臂摆动
不加速的稳定速度
稳固但自然的脚部接触

在不同提示词中重复使用这段内容,然后只修改镜头条款:固定的宽幅侧面镜头、中景平行跟拍、后方跟随或鞋子细节。如果不同镜头必须重复完全相同的时间节奏,应从同一段源表演中生成变化版本,而不是依赖独立的文本生成。

这种工作流程的局限

即使是经过谨慎控制的工作流程,也无法保证解剖结构完美的行走。当双腿交叉、双手经过服装表面或角色移动到前景物体后方时,遮挡仍然很难处理。反光地面和移动阴影会使脚部接触更难判断,也更难让模型保持一致。

非典型身体设计可能还需要专门测试。过长的服装、非人类四肢、夸张的鞋子、带有松散肩带的背包,以及角色携带大型物体,都会增加与步态相互竞争的次级运动。先从简化版本开始,确认行走有效后,再一次引入一个复杂元素。

动作迁移可以更接近地保留源表演的时间节奏,但源表演者与目标角色之间的巨大差异,仍可能导致关节变形或轮廓不稳定。面部修复可以改善身份漂移,却无法修正错误的腿部运动机制或滑动的身体。

常见问题

文生视频还是图生视频更适合行走?

当角色设计、服装和构图很重要时,图像驱动的生成通常更容易,因为这些元素已经确定。文生视频适合快速探索,但模型必须同时创造外观和运动。

首次测试最容易评估的行走角度是什么?

全身横向穿越镜头最容易评估。它能展示步幅、脚部接触、手臂摆动和向前进度,同时避免朝镜头行走时快速变化的画面比例。

我应该要求使用跟拍镜头吗?

如果首要目标是步态稳定,请从固定镜头开始。行走动作稳定后,再测试能够保持恒定距离的平行跟拍镜头。避免在一个短镜头中同时加入跟拍、环绕、变焦和手持抖动。

负面提示词能防止腿部变形吗?

在支持负面提示词的工作流中,它们可能有所帮助,但构图和动作设计具有更大的实际价值。清晰易读的全身锚定帧、更慢的速度、简单的轮廓和明确的方向,都能减少导致腿部融合的条件。

什么时候应该改用动作迁移?

当你需要可重复的时间节奏、可辨识的行走风格、在精确时刻完成转身,或需要从同一段表演生成多个镜头时,应使用动作迁移。在多次生成片段以不同方式失败后,它也是合理的备选方案。

换脸能修复行走片段吗?

如果片段本身效果良好,换脸可以解决面部身份漂移问题,前提是你获准使用相关身份。它无法修正脚部滑动、四肢融合、身体比例变化或服装不稳定。

最终检查清单

  • 使用一张双脚清晰可见的干净全身锚定帧。
  • 在行走方向上留出空旷空间。
  • 确定一种速度、一条路径和一种镜头行为。
  • 描述脚部接触和重心转移,但不要让提示词过度复杂。
  • 使用相同图像和核心指令比较模型。
  • 检查支撑脚、交叉双腿、身体比例、双手和服装。
  • 每次重新生成只修复一个已诊断的问题。
  • 使用短小稳定的片段组装更长的行走。
  • 当精确步态或时间节奏很重要时,使用动作迁移。
  • 免费创建你的第一个 ai 视频,立即测试行走提示词。

关键词

ai 行走视频,图生视频,动作迁移,ai 视频工作流,Seedance 提示词,Kling 提示词,提示词工程