最初と最後のフレームを指定するAI動画の仕組みは？

キーフレーム補間とは

アニメーションでは、重要な瞬間を決める絵を原画（キーフレーム）と呼び、原画の間をつなぐ絵を中割りと言います。最初と最後のフレーム指定の動画も同じ考え方で、2枚のキーフレームを自分で描くか生成し、中割りをモデルに任せます。

GoogleリサーチのFILMのような従来のフレーム補間は、少し間を置いて撮った2枚の写真の間のフレームを埋めます。ピクセルがどう動いたかを推定し、その動きに沿ってブレンドする方法です。スローモーションをなめらかにするのには向いていますが、新しい内容は作れないため、変化が大きいとモーフィングのように見えます。

生成型の補間はさらに一歩進みます。動画拡散モデルを2枚の画像で条件付けし、最初のフレームが片方に、最後のフレームがもう片方に一致するクリップ全体を生成します。2024年の論文「Generative Inbetweening」は、画像から動画のモデルをこの用途に適応させました。最初のフレームから順方向に、最後のフレームから逆方向にそれぞれ1回ずつ生成して統合します。Veo、Kling、Runway、Seedanceなどの製品も、開始フレームと終了フレームを指定するオプションとして同じ仕組みを提供しており、GoogleのVeoのドキュメントは、最初と最後のフレームにプロンプトを組み合わせて指定するものと説明しています。

使いどころ

• クリップを正確なポーズ、商品の角度、構図で終わらせたいとき。ロゴの登場や、商品がカメラのほうに回転して正面を向く場面などです。
• ショットをつなぐとき。ショットAの最後のフレームをショットBの最初のフレームにすれば、カットがつなぎ目なく見えます。
• 昼から夜、つぼみの花が開く、空の皿に料理が盛られる、といった制御された変化が欲しいとき。
• 行き先が決まったカメラワークが欲しいとき。たとえば、ロングショットから始まり、ドアのクローズアップで終わるような動き。

クリップの始まりだけにこだわるなら、通常の画像から動画のほうが簡単で、モデルの自由度も高くなります。

2枚のフレームの設計方法

モデルは数秒の間に、フレームAからフレームBへの自然な経路を見つけなければなりません。あなたの仕事は、その経路を短く、分かりやすくすることです。

1. 2枚を同じ元から作ります。フレームAを生成し、フレームBは新しく一から生成せず、フレームAを編集して（ポーズ、表情、光を変えて）作ります。キャラクター、服、背景、レンズは同じにします。
2. 変えるのは主に1点だけにします。ポーズの変化だけ、カメラの変化だけ、照明の変化だけ。2つ同時に変えると、どちらでもない中途半端な混ざり方をしがちです。
3. 長さに見合った変化量にします。首を回すのは数秒で足りますが、部屋を歩いて座るには、より長いクリップか2ショットが必要です。
4. 2枚の画像のアスペクト比と解像度をそろえます。たとえばGoogleのドキュメントは、両方とも16:9か9:16を使っています。
5. 経路が物理的に可能か確認します。フレームAで左手が上がっていてフレームBでポケットに入っているなら、手はカメラに映る場所を通らなければなりません。
6. 変化を説明するプロンプトを書きます。Googleの例では、最初のフレームがクッキー、最後のフレームがクッキーとミルクで、プロンプトがその2つをつなぐ動作を描写しています。

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

うまくいく遷移と失敗する遷移

種が木になる、あるスタイルが別のスタイルに変わる、といった意図的なモーフィングが欲しいときは、失敗した経路がそのまま演出になることもあります。プロンプトに「smooth magical transformation」と書けば、モーフィングが意図であることがモデルに伝わり、偶然のものより普通はきれいに仕上がります。

フレームを共有してクリップをつなぐ

最初と最後のフレーム指定のツールは、長いシーケンスの連続性を保つ手段にもなります。キーフレームのリストを計画し、隣り合う2枚の間でクリップを生成します。

クリップ2はクリップ1が終わるのとまったく同じフレームから始まるため、つなぎ目はシームレスです。ただ、つなぎ目ごとに色やシャープさが少しずれることがあるので、編集で色合わせを行い、動きの向きも統一して、カットが自然に感じられるようにしましょう。

限界と対処法

• イーズインと停滞：最初のフレームでしばらく静止し、その後で急に最後のフレームへ駆け込むことがあります。「moves steadily over the whole clip」のように、ペースを書きましょう。
• 隠れたクロスフェード：2枚が違いすぎると、モデルがその間をディゾルブで済ませることがあります。2枚を近づけるか、中間のキーフレームを追加します。
• 途中での同一性のずれ：両端は合っているのに、途中で顔が変わることがあります。より寄りの構図、短いクリップ、同じ元画像から作った2枚を使いましょう。
• 最後のフレームが完全には一致しない：最後のフレームを、厳密な指定ではなく強いヒントとして扱うツールがあります。必要なら編集で最後のフレームをトリミングするか、静止して保持してください。
• 動く文字やロゴ：静止させるか、編集で足しましょう。