返回博客
综合

如何为 Seedance 和 Kling 编写更好的文生视频提示词

更好的文生视频效果来自于指导一个清晰可读的镜头,而不是在提示词中堆砌无关的电影术语。本教程将展示如何围绕主体运动、镜头运动、时间节奏和连续性来构建 Seedance 与 Kling 提示词,然后使用同一份镜头简述对比两个模型。

如何为 Seedance 和 Kling 编写更好的文生视频提示词
MagicBoat AI11 分钟阅读91 次阅读
文章目录

TL;DR:指导镜头,而不只是描述外观

改进文生视频提示词最快的方法,是描述一个主体动作、一种镜头运动,以及随时间发展的清晰过程。先从简单的镜头简述开始,分别在 Seedance 和 Kling 中生成,只有在运动效果理想后,再添加氛围或视觉风格。

这套工作流适用于电影感建立镜头、产品展示、旅行片段、音乐视频插镜和简短叙事时刻。它不依赖冗长的摄影术语列表,也不会要求模型在一次生成中创建完整的剪辑序列。

为什么 AI 视频中的镜头提示词会失效

许多效果较差的视频提示词在视觉描述上很丰富,却缺乏时间层面的明确性。它们解释了画面中应该包含什么,却没有说明第一帧之后应该发生什么变化。模型可能生成一张精致但几乎不动的画面,也可能自行编造与预期镜头相冲突的运动。

第二个问题是方向相互矛盾。一个提示词可能同时要求静态三脚架构图、手持感、快速环绕和缓慢变焦。这些短语并不会组合出更丰富的结果,而是在争夺控制权,常常导致速度不均、背景漂移、突然重新构图,或主体在场景中滑动。

常见症状包括:

  • 动作冻结:角色保持姿势不动,只有头发、烟雾或背景灯光在移动。
  • 镜头与动作混淆:要求镜头向前移动,结果却变成主体向前走。
  • 速度变化:缓慢推进在结尾突然变成快速变焦。
  • 构图丢失:主体一开始位于画面中央,随后被裁切或推出画面。
  • 几何漂移:车辆、家具、建筑或产品会随着视角移动而悄悄改变形状。
  • 场景过载:多个动作同时发生,导致没有一个动作能够被清晰理解。

一个有用的提示词应该回答四个问题:什么在移动?如何移动?镜头做什么?什么应该保持稳定?

Comparison of a coherent shot and a conflicting camera prompt
连贯镜头与相互冲突的镜头提示词对比

控制 AI 视频镜头的三种方式

本教程结合了三个层级的控制方式。选择能够表达创意的最简单选项:

  1. 单一动作提示:一个主体执行一个动作,同时镜头保持固定或进行一次克制的移动。
  2. 定时镜头提示:提示词描述开始、中段和结尾,但不会把片段变成多个互不相连的场景。
  3. 参考图驱动动画:先用准备好的图片固定构图,再通过图生视频生成受控的运动。

单一动作提示是最好的起点。当镜头需要展示或反应时,定时提示很有用。当必须保留特定服装、产品形状、房间布局或开场构图时,参考图驱动动画更合适。

MagicBoat 如何处理镜头导向的 AI 视频

MagicBoat 提供了一套单账号工作流,用于测试集成的生成模型,而不是将每个镜头都绑定到单一模型。你可以使用 Seedance 或 Kling 制作运动镜头,在合适的情况下尝试 Veo,并在动画制作前使用 Seedream、Flux 或 GPT Image 等图像模型准备源帧。

这让模型比较变得切实可行:保持创意简述不变,让同一个镜头通过多个模型运行,并根据可见输出进行判断,而不是针对每个工具重新改写概念。MagicBoat 的AI 视频工作流还支持在需要更严格控制构图时,从文生视频实验转向图像驱动版本。

工作流适用场景主要控制因素
文生视频探索场景或镜头创意提示词结构与镜头简洁度
图生视频开场画面必须符合设计参考构图与运动提示词
动作迁移特定身体表演很重要录制的源动作
换脸运动效果理想但身份需要修正面部外观

第 1 步——将创意缩减为一个可见镜头

在编写生成提示词之前,先用自然语言写一份镜头简述。它应该能放进一句话,并描述一个摄像机可以连续记录的内容。

较弱的简述:“一名厨师回忆童年、烹饪晚餐、为餐厅上菜,最后取得成功。”这是故事大纲,而不是一个镜头。

可用的简述:“一名厨师将做好的菜放在台面上,同时镜头缓慢靠近。”它包含一个主体、一个易于理解的动作和一个镜头指令。

使用以下规划模板:

主体:一个主要主体
动作:一个可见动作
镜头:一个运动或固定画面
环境:一个地点
结尾:最终构图或展示内容

预期结果:一份不需要形容词、艺术参考或剪辑术语也能理解的简述。如果简述中已经出现“然后切到”,就应将其拆分为多次生成。

Side-by-side frames used to compare two video generations
用于比较两次视频生成结果的并排画面

第 2 步——区分主体运动与环境运动

模型需要知道哪些变化是必要的,哪些只是辅助细节。先说明主要动作,之后再添加不超过两个细微的环境运动。

一名骑行者在山路顶端停下,转身面向山谷。她的夹克在风中轻轻摆动。薄薄的晨雾在远处山丘之间缓缓飘动。

骑行者转身是主要动作,夹克摆动和雾气是次要动作。这些动词具体明确,并且在视觉上相互兼容。避免让画面中的每个人、物体、云朵、倒影和光源都执行独立而复杂的运动。

对于产品镜头,稳定性通常比环境活动更重要:

一块银色腕表放在深色石材上。一束狭窄的暖阳缓慢掠过表盘,同时腕表保持静止,结构不发生变化。

预期结果:观众能立即注意到预期动作,而背景运动则为场景增添活力,却不会使画面失去整体性。

第 3 步——写出一个明确无歧义的镜头指令

根据镜头需要传达的内容选择镜头运动。推进可以增加关注度或紧张感。拉远可以展示环境。横向跟拍适合跟随移动。环绕可以展现形体,但会对几何结构和背景一致性提出更高要求。

镜头指令最佳用途典型风险
固定镜头表演、产品、细微氛围结果可能显得过于静止
缓慢推进情绪、细节、期待感可能看起来像数字变焦
缓慢拉远展示地点或规模新出现的背景细节可能发生变形
横向跟拍行走、骑行、车辆脚部或车轮可能滑动
轻柔环绕雕塑、产品、静止主体形状和隐藏表面可能漂移

将指令按字面写出,不要堆叠标签:

镜头以恒定距离从左向右缓慢跟拍,让跑步者保持中景侧面姿态。构图保持水平,跑步者始终完整可见。

除非确实需要有意的转场,否则不要同时组合“推轨进”“拉远变焦”“手持”“静止”和“360 度环绕”。对于大多数短片段,一次连续的运动更加可靠。

预期结果:稳定的屏幕运动方向、清晰易读的构图,以及更少无法解释的速度变化。

Diagram of five common AI video camera movements
五种常见 AI 视频镜头运动示意图

第 4 步——用开始、中段和结尾状态添加时间节奏

当镜头需要展示时,描述时间节拍,而不是要求生成多个剪辑场景。让所有节拍处于同一地点,并沿用同一条镜头路径。

开场:一名陶艺家在安静的工作室中,将一个刚上好釉的碗举在胸口高度。
中段:她缓慢地将碗转向窗户,柔和的日光照亮蓝色釉面。
结尾:镜头完成轻柔推进,停留在表面细节上,她的双手保持稳定自然。

这种格式能告诉模型镜头如何发展,而不会要求它制作蒙太奇。结尾尤其重要,因为它定义了运动应该在哪里稳定下来。

对于展示镜头,要保持一个连续的视觉关系:

镜头开始于一扇风化木门的近后方。木门向内打开时,镜头缓慢向前移动,展现出一片洒满阳光的田野。最后画面以稳定的广角构图结束,木门位于画面两侧,形成框景。

预期结果:片段拥有清晰可读的发展弧线,而不是从一张强烈的开场画面开始后出现随机运动。

第 5 步——在运动清晰后再添加视觉风格

风格应该服务于镜头,而不是取代镜头机制。先写清动作和镜头指令,再添加光线、色彩、镜头特性和氛围。

一名街头音乐家合上小提琴盒,望向即将到来的雨。镜头从中景开始,缓慢而稳定地推进。远处背景中的行人柔和地经过,微风吹动她外套的边缘。阴天自然光,克制的色彩,真实的皮肤纹理,浅景深,连续单镜头。

避免使用“电影感、史诗感、容易走红、获奖作品、杰作、8K、超高细节”这样的长串词语。这些词无法解决场面调度不清的问题。优先描述可见特征:低角度冬日阳光、柔和对比度、低饱和绿色墙面、浅焦,或略低的镜头高度。

如果你的工作流支持排除项或否定指令,请将其与可观察到的失败保持关联:

避免镜头突然加速、主体重复、手部扭曲、服装变化、背景变形、文字、标志和剪切。

否定语言不能替代清晰的正向提示词。使用它来保护必要细节,而不是列出所有可能的缺陷。

预期结果:在不牺牲主体动作或镜头路径的情况下,获得连贯的电影感外观。

第 6 步——使用同一份镜头简述比较 Seedance 和 Kling

不要用完全不同的提示词评估模型。使用相同的核心简述、在条件允许时使用相近的输出设置,并采用相同的验收标准。进行细微的语法调整是合理的,但要求的动作和镜头运动应保持不变。

一名身穿黄色雨衣的女子在黎明时分站在乡村公交站旁。远处一辆公交车驶来时,她抬起一只手。镜头缓慢横向跟拍,保持中广角侧面构图。湿草在风中轻轻摆动。柔和的灰色晨光,真实的运动,连续镜头,无剪切,服装和面部外观保持稳定。

从以下五个方面检查每个结果:

  1. 手是否自然地抬起,并且只抬起一次?
  2. 镜头是否横向移动,而不是变焦?
  3. 女子的大小和身份是否保持不变?
  4. 驶来的公交车是否保持原有结构?
  5. 镜头是否干净地结束,而不是突然加速或溶解?

选择最能保留镜头意图的生成结果,不一定要选择纹理最多或光线最戏剧化的结果。一个视觉上很壮观、却反转屏幕运动方向或改变主体动作的片段,在剪辑中可能更难使用。

预期结果:公平的模型比较,以及一份无需改变概念即可继续优化的可复用提示词。

第 7 步——将困难镜头转换为图像驱动工作流

如果多次文生视频生成都无法保留开场构图,请先创建一张参考图。这对于产品、建筑、服装、风格化布景,以及包含多个精心摆放物体的场景尤其有用。

使用 Seedream、Flux 或 GPT Image 生成静态图像,然后用简洁的运动提示词为其添加动画:

保持既定构图和物体设计。镜头朝红色椅子缓慢推进。阳光在地板上的位置发生细微变化,纱帘轻轻移动。不出现新物体。椅子、窗户和房间几何结构保持不变。

图像提供空间事实;运动提示词解释哪些内容会随时间变化。如果源帧中已经清晰可见,就不必重新描述每个视觉细节。重复或与图像矛盾的描述可能会促使模型进行不必要的重新诠释。

预期结果:更好地控制第一帧、艺术指导、物体位置和色彩调色板。

在项目中保持一致的镜头语言

当一组短片段的提示词使用一致的视觉语法时,整个序列会显得更有意图。创建一份简短的镜头圣经,定义反复出现的选择:

  • 镜头运动:只使用固定镜头和缓慢推进。
  • 镜头高度:对话使用视线高度,行走镜头使用腰部高度。
  • 光线:带有中性阴影的柔和阴天日光。
  • 色彩:低饱和大地色,搭配一处黄色服装点缀。
  • 运动:真实速度,克制的背景活动。
  • 连续性:每个片段只包含一个动作,生成过程中不剪切。

复用这套语言,但改变景别和主体动作。一致性并不意味着从同一个角度生成每个场景。

替代方案:使用动作迁移实现精确表演

文本提示词可以描述一个手势,但不一定能复现精确的编舞、喜剧节奏、舞蹈或独特的身体动作。在这些情况下,录制一段干净的源表演并使用动作迁移。让表演者保持可见,避免严重遮挡,并选择身体比例能够合理跟随动作的参考角色。

使用文本导向视频探索镜头和环境;当身体的精确节奏是镜头的主要要求时,则使用表演迁移。

替代方案:使用换脸修复身份

如果生成的运动和构图都很好,但面部发生漂移,替换整个片段可能会浪费一个理想的运动结果。当面部清晰可见、足够锐利,并且没有被头发、手部或极端阴影严重遮挡时,换脸处理可以作为实用的收尾方案。

换脸本身无法修复头部变形、糟糕的嘴唇运动或不一致的光线。先选择结构可靠的片段,再将身份修正视为后期处理。

这套工作流的局限

提示词工程可以改善指导效果,但不能保证物理上完全准确的视频。复杂的手部互动、相互重叠的四肢、快速旋转、反射、人群、可读文字,以及从此前未见过的角度展现物体,仍然很难处理。围绕主体环绕拍摄的稳定性天然不如固定镜头,因为模型必须编造隐藏表面。

当每句话都引入另一个优先事项时,过长的提示词也会降低控制力。如果结果失败,请先删除可选细节,而不是添加更多指令。先用固定镜头测试主体动作,等动作稳定后再加入镜头运动。

最后,文生视频通常更擅长生成单个镜头,而不是完整序列。应为不同角度分别生成片段,然后在剪辑器中组装,而不是期待一个提示词可靠地完成剪切、连续性和节奏。

常见问题

Seedance 或 Kling 提示词应该多长?

长度应足以定义主体、动作、镜头、环境、视觉处理方式和必要约束。一个重点明确的段落通常比一页形容词更有用。删除任何不会改变可见内容的短语。

我应该把镜头指令放在最前面吗?

从主体和主要动作开始,让镜头拥有明确目的。紧接着放置镜头指令,然后再添加环境和风格。对于镜头测试片段,也可以先写构图和运动,但前提是动作仍然明确。

我可以在一个片段中要求多个镜头运动吗?

可以,但随着路径变得更加复杂,可靠性通常会下降。如果确实需要两种运动,请描述一个简单的过渡,例如缓慢拉远后稳定在固定的广角画面中。当运动方向发生明显变化时,应生成独立镜头。

图生视频是否总是比文生视频更一致?

它通常能更好地控制开场构图,但运动仍可能使参考图变形。大幅旋转和激烈的镜头移动要求模型编造源图中不存在的信息。

为什么推轨提示词有时看起来像变焦?

这两种运动都会改变主体的画面比例,而模型可能无法复现将实体镜头移动与镜头变焦区分开的视差。提到以不同速度经过的前景物体,保持清晰的环境,并让运动足够缓慢,使深度变化能够被看见。

提示词失败时我应该先改什么?

将其缩减为一个动作和一个固定镜头。动作有效后,再添加一种镜头运动。最后添加氛围和次要运动。这样可以找出导致失败的具体指令。

最终检查清单

  • 在完整提示词之前,先写一句话的镜头简述。
  • 为主体指定一个主要动作。
  • 选择一种镜头运动,并说明构图。
  • 对于展示镜头,使用开始、中段和结尾状态。
  • 只添加一到两个次要环境运动。
  • 描述可见的光线和色彩,而不是宣传式形容词。
  • 使用同一份创意简述比较 Seedance 和 Kling。
  • 当构图必须固定时,切换到图像驱动工作流。
  • 当概念需要剪切时,生成独立片段。
  • 免费创建你的第一个 AI 视频,并在多个模型中测试同一个镜头提示词。

关键词

文生视频,提示词工程,Seedance 提示词,Kling 提示词,镜头运动,AI 视频工作流,电影感 AI 视频