AI · AI 影片
首尾影格 AI 影片是怎麼運作的?
簡答
首尾影格影片是給模型兩張圖,也就是開場與結尾的影格,請它生成兩者之間的動態。這是用生成模型做的關鍵影格補間。當兩張圖是同一場景、只有一個明確變化(例如姿勢、表情或鏡頭位置)時效果最好;差異太大就容易失敗。
關鍵影格補間是什麼意思
在動畫裡,關鍵影格(keyframe)是定住重要瞬間的畫面,關鍵影格之間的畫面稱為中間畫(in-between)。首尾影格影片套用的是同一個概念:你畫出或生成兩張關鍵影格,由模型負責做中間畫。
傳統的影格補間,例如 Google Research 的 FILM 方法,是在相隔片刻拍下的兩張照片之間補上影格。它估算像素如何移動,並沿著那個動態做混合。這很適合讓慢動作更平順,但無法創造新內容,所以變化一大,看起來就像變形(morph)。
生成式補間則更進一步。影片擴散模型同時以兩張圖為條件,生成一段完整影片,首格對應其中一張,末格對應另一張。2024 年的論文《Generative Inbetweening》改造了圖生影片模型來做這件事:從首格往前跑一次、從末格往後跑一次,再把兩者合併。Veo、Kling、Runway、Seedance 等產品都以起始影格與結束影格選項提供同樣的功能,Google 的 Veo 文件則把它描述為指定首格與末格,再加上一段提示詞。
什麼時候適合用
- 你需要影片停在確切的姿勢、產品角度或構圖上,例如標誌揭曉,或產品轉過來面對鏡頭。
- 你要接合鏡頭:鏡頭 A 的末格成為鏡頭 B 的首格,剪接點就看不出來。
- 你想要可控的變化,例如白天變夜晚、花苞綻放、空盤變成上菜。
- 你想要終點固定的運鏡,例如從遠景一路拍到一扇門的特寫。
如果你只在意影片怎麼開始,一般的圖生影片更簡單,也給模型更多自由。
怎麼設計兩張影格
模型必須在幾秒內,找出一條從影格 A 到影格 B 的可信路徑。你的工作就是讓這條路徑又短又明顯。
- 兩張圖出自同一個來源。先生成影格 A,再編輯影格 A(改姿勢、表情或光線)得到影格 B,而不是從頭生成新圖。角色、衣服、背景、鏡頭焦段都要相同。
- 只改一件主要的事。一個姿勢變化,或一個鏡頭變化,或一個光線變化。同時改兩件,常會得到兩者都不像的混合體。
- 變化的幅度要與長度相稱。轉頭幾秒就夠;走過房間再坐下,需要更長的片段或拆成兩個鏡頭。
- 兩張圖保持相同的長寬比和解析度。例如 Google 的文件,兩張圖都採用 16:9 或 9:16。
- 確認路徑在物理上可行。如果左手在影格 A 是舉起的,在影格 B 卻插在口袋裡,那隻手就必須經過鏡頭看得到的地方。
- 寫一段描述變化的提示詞。Google 的範例是首格為餅乾、末格為餅乾加牛奶,提示詞則描述連接兩者的動作。
First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.
Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.哪些轉場可行,哪些會失敗
| 轉場 | 通常可行嗎? | 原因 |
|---|---|---|
| 表情變化(面無表情到微笑) | 可行 | 變化小且局部,臉停留在原位 |
| 頭部或身體轉向,最多約 90 度 | 可行 | 模型看過大量這類轉身 |
| 同一場景從遠景推到中景的運鏡 | 可行 | 路徑清楚,內容始終看得見 |
| 光線變化(白天到黃昏、開燈) | 多半可行 | 幾何結構相同,只有顏色與陰影改變 |
| 物品出現在手中 | 有時可行 | 需要看得見的路徑:伸手、拿起 |
| 繞著人物完整轉 180 度 | 常失敗 | 模型必須憑空編出背面並維持身分 |
| 影格 B 換成不同地點 | 常失敗 | 沒有真正的路徑;只會得到變形或交叉溶接 |
| 換成不同的人或服裝 | 通常失敗 | 臉和衣服會互相融化 |
| 短片段內在房間裡大幅移動 | 常失敗 | 動作變成滑動或跳躍 |
當你想要刻意的變形,例如種子長成樹,或一種風格變成另一種風格,失敗的路徑反而可以變成效果。請在提示詞中說明:「smooth magical transformation」會告訴模型這是刻意的變形,通常比意外產生的變形乾淨。
用共用影格串接多段影片
首尾影格工具也是較長序列的連貫工具。先規劃一串關鍵影格,再在相鄰兩張之間生成每一段影片。
| 片段 | 首格 | 末格 | 動態 |
|---|---|---|---|
| 1 | K1:主角在大門前,背對鏡頭 | K2:主角走到小路一半 | 向前走,鏡頭跟隨 |
| 2 | K2 | K3:主角在門前,手搭在門把上 | 爬上台階,伸手去開門 |
| 3 | K3 | K4:門開了,暖光照在他臉上 | 緩緩開門 |
因為片段 2 正好從片段 1 結束的那一格開始,銜接處是無縫的。不過每個銜接處的色彩和銳利度仍可能略有偏移,所以剪輯時要做色彩校正,並保持動作方向一致,讓剪接點自然。
限制與解法
- 先停滯再趕場。模型有時會停在首格不動,然後倉促奔向末格。請描述節奏:「moves steadily over the whole clip」。
- 暗中交叉溶接。如果兩張影格差太多,模型可能直接在兩者之間溶接。請讓兩張圖更接近,或加一張中間的關鍵影格。
- 中段身分漂移。兩端吻合,但臉在中途變了。請用較近的構圖、較短的片段,並讓兩張影格來自同一張來源圖。
- 末格不完全一致。有些工具把末格視為強烈的暗示,而非硬性規定。必要時在剪輯時修剪或定格最後一格。
- 動態中的文字與標誌。讓它們保持靜止,或在剪輯時再加。
常見問題
首尾影格和圖生影片有什麼不同?
圖生影片只固定開場影格,由模型決定影片在哪裡結束。首尾影格則固定兩端,所以你能掌控最後的姿勢或構圖。
能用首尾影格做出循環影片嗎?
可以,把同一張圖同時當作首格和末格,再描述一個回到起點的動作,例如緩慢擺動。小幅度的週期性動作最適合循環。
為什麼我的首尾影格影片看起來像變形?
兩張圖可能差異太大,沒有可信的路徑,例如換了地點或服裝。請用編輯影格 A 的方式得到影格 B,而且只改一件事。
首尾影格的片段該設幾秒?
依變化的大小決定長度:表情或轉頭幾秒就夠,走路或大幅運鏡則需要更長。太短的片段會迫使動作倉促。
首尾影格和慢動作的影格補間是同一回事嗎?
兩者相關。慢動作補間是在相鄰的兩張照片之間補影格,而生成式首尾影格則是在相隔較遠的兩個時刻之間,憑空創造數秒的新動態。