動画生成AIのプロンプトはどう書く？

動画プロンプトが画像プロンプトと違う理由

画像プロンプトは1つの瞬間を描写します。動画プロンプトは時間による変化を描写します。何がどの方向にどんな速さで動き、その間カメラが何をするのかをモデルが決めなければなりません。書かれていなければモデルは推測し、たいていはゆっくりしたあいまいな動きになるか、複数のアクションが1つに混ざります。

テキストから動画を作るモデルは短いクリップの全フレームをまとめて生成するため、テキストは最初のフレームだけでなくクリップ全体をカバーする必要があります。そのため動画プロンプトで最も役に立つのは動詞とタイミングの言葉です。歩く、振り向く、止まる、持ち上げる、2秒かけて、そのあと、といった表現です。見た目を表す形容詞も大事ですが、あくまで二番手です。

動画モデルを作る各社の公式ガイドも、表現は違えど同じことを言っています。OpenAIのSoraプロンプトガイドは、プロンプトを契約ではなく「願いのリスト」と呼んでいます。同じプロンプトでも毎回結果が違うので、望む結果が出る確率を上げるように書き、あとは試行錯誤で詰めていきます。

7要素の構成

次の順番で書きます。7つすべてが必要なわけではありませんが、1つずつ確認すれば、モデルがランダムに埋めてしまう抜けを防げます。

長さ、解像度、アスペクト比は、テキストではなく設定項目で指定するツールが多くあります。OpenAIのガイドも、こうした技術パラメータは文章ではなくAPI呼び出しや画面の設定に入れるものだと述べています。テキストに書くのは、ツールのドキュメントがそう案内している場合だけにしましょう。

1ショットにつきアクション1つ、カメラワーク1つ

動画プロンプトが失敗する最大の原因は、欲張りすぎることです。「彼女が入ってきて、電話を取り、笑い、カメラが回り込む中で外へ駆け出す」は、5秒ほどのクリップに4つのアクションと複雑なカメラワークを詰め込んでいます。モデルは多くの場合それらを圧縮したり、飛ばしたり、1つの動きから別の動きへ溶かしたりします。

OpenAIのSoraガイドは、各ショットをシンプルに、つまりカメラワーク1つと被写体のアクション1つにすることを勧めています。ストーリーに4つの動きが必要なら4ショット書き、編集でつなぎます。短いクリップほど指示に忠実になるので、長い1本より短い2本のほうがきれいに仕上がることもよくあります。

• そのショットの主題になるアクションを1つ選びます。画面内のそれ以外は、風に揺れる髪、湯気、遠くの車など、小さな環境の動きにとどめます。
• カメラワークを1つ選ぶか、static shot と書きます。オービットとズームとティルトを組み合わせてはいけません。
• アクションの終点を書きます。「窓の前で止まる」と書けば終了状態が決まりますが、「歩く」だけでは最後まで動き切らないことがあります。
• 速さは平易な言葉で書きます。ゆっくり、一気に、3秒かけて、など。

タイムラインとビート形式のプロンプト

1つのショットの中に短いシーケンスがあるときは、ビートで書きます。ビートとは、おおよその時間をつけたアクションの小さな1ステップです。OpenAIのガイドは、「窓まで4歩で歩き、立ち止まる」のように歩数やビートを数えて書くことを勧めています。「歩いて行く」より具体的な数のほうがモデルに伝わりやすいためです。

秒数の範囲を明示するとうまく反応するツールもあれば、正確な秒数は無視しても順序には従うツールもあります。どちらの場合でも、タイムラインを書けば出来事の順番がはっきりします。

8 seconds, 16:9, static camera, medium-wide shot.
A small cafe counter at morning, soft window light from the left.

0-2s: A barista in a green apron sets a white cup on the counter.
2-5s: She pours steamed milk in one slow motion; a leaf pattern forms.
5-8s: She slides the cup forward and smiles at the customer off screen.

Audio: espresso machine hiss, quiet cafe chatter, a cup touching a saucer.

ビートは短く、物理的な動きで書きます。「彼女は嬉しい」はビートではありませんが、「彼女は微笑み、肩の力を抜く」ならビートです。最後のビートは静止した瞬間にしておくと、クリップが動きの途中で終わらず、カットしやすくなります。

弱いプロンプトを書き直す

ありがちな最初の試行がこちらです。雰囲気と被写体はあるものの、アクション、カメラ、光、音は運任せです。

A cinematic video of a samurai in the rain, epic, 4K, masterpiece.

問題点：「cinematic」「epic」「masterpiece」は、カメラが映せるものを何も表していません。アクションがないので、立っている人物をゆっくりパンするだけの映像になったり、刀が溶けるような戦闘になったりします。カメラの指示も音声もありません。「4K」はプロンプトの言葉ではなく設定項目です。

Medium shot, low angle, slow push-in.
A lone samurai in a dark blue kimono stands in a muddy village street at night.
Heavy rain. A single paper lantern behind him gives warm orange rim light;
the rest of the scene is cool blue.

Action: he slowly draws his sword over three seconds, then holds it still
at chest height. Rain drips from the blade.

Style: live-action, shallow depth of field, film grain, desaturated colors.
Audio: steady rain, the metal sound of the blade leaving the scabbard, distant thunder.

どの行も、モデルが推測するしかなかった問いに答えています。誰が、何を、どれくらいの時間で、どこから見て、どんな光で、どんなスタイルで、どんな音とともに、です。書き直し版は長くなりましたが、水増しではありません。どの語句も映像を変えています。

音声とセリフの書き方

映像と一緒に音も生成するモデルは、プロンプトから音声を読み取ります。GoogleのVeoガイドは、音声が欲しいとはっきり書き、環境音、効果音、セリフを別々の文で描写することを勧めています。

• 環境音：風、人混み、交通、鳥など、部屋や場所の空気感。
• 効果音：砂利を踏む足音やドアの閉まる音など、アクションに結びついた音。
• セリフ：正確な文言を引用符で囲み、誰が話すかを書きます。短くしましょう。4秒ほどのクリップなら、短いセリフ1〜2行が収まる目安です。
• 音楽：編集で自分の音楽を足すつもりなら「no music」と書きます。生成された音楽は切り貼りしにくいためです。

リップシンクと正確な文言は、現時点ではまだ弱点です。1語も間違えられないセリフは、セリフなしでショットを生成し、編集で録音した声や音声合成の声を重ねましょう。

よくある失敗と対処法

もう1つの率直な限界は物理です。液体、衝突、物を持つ手、群衆はよく破綻します。そうしたアクションは単純にとどめ、できれば手をフレームの端に逃がし、複数のテイクを生成して選びましょう。