圖生影片 AI 是怎麼運作的？

和文字生成影片有何不同

文字生成影片裡，模型什麼都得自己發明：臉、衣服、房間、光線和動作。圖生影片則由你提供第一格，模型只需要發明接下來發生的事。Google 的 Veo 文件把這種做法描述為以現有圖片作為新影片的第一格；OpenAI 的 Sora 指南則稱之為錨定第一格。

這改變了提示詞的用途。圖片已經回答了是誰、在哪裡、什麼風格。提示詞要回答的是什麼在動、往哪個方向、多快，以及鏡頭怎麼走。

在模型內部，起始圖片會被編碼，與文字一起作為條件輸入。開源模型 Stable Video Diffusion 發布時，就同時提供了建立在同一個潛在影片擴散基礎上的文字生成影片與圖生影片版本。

怎麼選起始圖片

起始圖片的影響比提示詞還大。多數失敗的圖生影片，都可以歸因於起始圖片沒有替動作留下空間。

• 符合輸出的長寬比。如果工具輸出 16:9 或 9:16，就給它那個形狀；其他尺寸可能被裁切或縮放。Google 的 Veo 文件建議輸入至少 720p，且為 16:9 或 9:16。
• 替動作留出空間。如果人物要往右走，右邊就要留白；如果鏡頭要推進，臉就不該已經佔滿畫面。
• 擺出動作起點的姿勢。要拍「她轉頭看向鏡頭」，起始圖就讓她看向別處。
• 主體清楚、銳利。模糊或太小的臉，動起來只會更糟。
• 手部簡單。藏起來、放鬆或沒拿東西的手，動畫效果比較乾淨。
• 不要有必須保持的文字。標誌和招牌一旦開始動，可能會變形。

如果起始圖片是用圖片模型做的，請為這個鏡頭而生成，而不是做成完成的海報：自然的姿勢、可信的光源，以及主體周圍的空間。

怎麼寫動態提示詞

只描述會改變的部分。重複描述圖片內容，只會多出模型不需要的字，還可能讓它原地不動。Google 圖生影片文件中的範例都是簡短的動態句子，例如動物自然地移動，或花朵輕輕搖擺。

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. 主體動態：一個動作，並寫明速度與終點。
2. 次要動態：讓場景活起來的小東西，例如頭髮、樹葉、蒸氣、水。
3. 鏡頭：一種運鏡或固定。請見運鏡術語指南。
4. 聲音，如果模型會生成聲音的話。

動態必須能從起始姿勢自然做出。圖片中坐著的人，不可能在兩秒內乾淨俐落地變成奔跑。如果動作幅度大，請改用首尾影格工具，並一併提供結束姿勢。

2.5D 視差做法：深度圖加運鏡

還有第二種更簡單的方法能讓照片動起來，而且完全不是生成式影片。它常被稱為 3D Ken Burns 效果，名稱來自 Niklaus 等人 2019 年的一篇論文。

1. 估算深度。深度模型（例如 Depth Anything V2）會預測每個像素離鏡頭有多遠。
2. 把照片變成 3D 圖層。每個像素依深度被推到後方，照片就從一張平面變成淺浮雕。
3. 移動虛擬鏡頭。鏡頭推進、拉遠、環繞或搖攝。近處像素比遠處位移更多，這就是視差（parallax），大腦會把它解讀為深度。
4. 填補空隙。鏡頭移動時，會看到原本被主體擋住的區域。簡單的工具會拉伸附近的像素，或稍微放大來遮住邊緣；3D Ken Burns 論文等研究系統則會對被遮住的區域做修補（inpainting）。

這就是 cv.cm 的 v 工具所用的方法。它在你的瀏覽器中執行 Depth Anything V2，用 GPU 沿著推、拉、環繞、搖攝或升起的路徑渲染視差，並匯出 MP4。移動的是鏡頭；主體不會眨眼、走動或說話。你也可以先用 cv.cm 的 depth-map 工具看看深度圖本身。

視差最適合有明顯景深層次的照片：遠處背景前的人物、桌上的產品、向遠方延伸的街道。對平面的主體效果就很差，例如文件或牆面，因為沒有深度可讓鏡頭揭露。

常見問題與解法