首尾帧AI视频是怎么工作的？

关键帧插值是什么意思

在动画里，关键帧（keyframe）是定下重要瞬间的那张画，关键帧之间的画面叫中间帧（in-between）。首尾帧视频用的是同样的思路：你画或生成两个关键帧，由模型来做中间帧。

经典的帧插值，比如 Google Research 的 FILM 方法，是在相隔片刻拍摄的两张照片之间补帧。它估计像素的运动方向，再沿着这个运动做融合。它擅长让慢动作更顺滑，但无法凭空创造新内容，所以变化大时看起来就像变形过渡。

生成式插值走得更远。视频扩散模型同时以两张图为条件，生成一整段视频，第一帧对上其中一张，最后一帧对上另一张。2024 年的论文《Generative Inbetweening》改造了一个图生视频模型来做这件事：从首帧向前跑一遍，从尾帧向后跑一遍，再把两者合并。Veo、Kling、Runway 和 Seedance 等产品都提供同样的功能，叫起始帧和结束帧选项，Google 的 Veo 文档把它描述为指定首帧和尾帧再加一条提示词。

什么时候用

• 你需要视频结束在一个确切的姿势、产品角度或构图上，比如标志揭晓，或产品转向镜头。
• 你要衔接镜头：A 镜头的最后一帧成为 B 镜头的第一帧，这样转场就看不出来。
• 你想要可控的变化，比如白天到夜晚、花苞到盛开、空盘到上菜。
• 你想要一个终点固定的运镜，比如从远景推到一扇门的特写。

如果你只在乎视频怎么开始，普通的图生视频更简单，也给模型更多自由。

怎么设计这两帧

模型要在几秒内找到从 A 帧到 B 帧的可信路径。你的任务是让这条路径又短又明显。

1. 两帧用同一个来源制作。先生成 A 帧，再通过编辑 A 帧（改变姿势、表情或光线）来做 B 帧，而不是从零生成一张新图。同一个角色、同样的衣服、同一个背景、同一种镜头。
2. 只改变一个主要的东西。一次只换姿势，或者只换机位，或者只换光线。同时改两处，常常得到两者都不像的混合体。
3. 变化幅度要和时长相称。转头几秒就够了；穿过房间再坐下，需要更长的片段，或拆成两个镜头。
4. 两张图使用相同的画幅和分辨率。比如 Google 的文档要求两张图都用 16:9 或 9:16。
5. 检查路径在物理上是否可行。如果左手在 A 帧里举着，在 B 帧里插在口袋里，那只手就得经过镜头能看到的某个位置。
6. 写一条描述变化的提示词。Google 的示例是首帧为饼干、尾帧为饼干加牛奶，提示词描述的就是把它们连起来的动作。

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

哪些过渡有效，哪些会失败

如果你想要刻意的变形，比如种子变成大树，或者一种风格变成另一种，失败的路径反而可以成为特效。在提示词里写明：“smooth magical transformation”会告诉模型这里就是要变形，通常比意外产生的变形看起来更干净。

用共享帧串联多个片段

首尾帧工具也是制作较长序列时的连贯性工具。先规划一串关键帧，再在相邻两帧之间各生成一个片段。

因为片段 2 正好从片段 1 结束的那一帧开始，衔接处是无缝的。颜色和清晰度在每个衔接点仍可能略有变化，所以在后期统一调色，并保持运动方向一致，剪辑才显得自然。

局限与应对

• 先停后冲。模型有时会定住首帧不动，然后猛地赶到尾帧。描述节奏：“moves steadily over the whole clip”。
• 隐形的交叉淡化。如果两帧差异太大，模型可能直接在两者间溶解。让两帧更接近，或者加一个中间关键帧。
• 中途身份漂移。两端对得上，但脸在中间变了样。用更近的景别、更短的片段，以及同一张源图制作的两帧。
• 尾帧不够精确。有些工具把尾帧当作强提示而不是硬性规则。必要时在后期裁剪或定格最后一帧。
• 运动中的文字和标志。让它们保持静止，或者在后期添加。