Video AI khung hình đầu và cuối hoạt động như thế nào?

Nội suy keyframe nghĩa là gì

Trong hoạt hình, keyframe (khung hình khóa) là bản vẽ cố định một khoảnh khắc quan trọng, còn các khung nằm giữa các keyframe gọi là in-between. Video khung hình đầu và cuối áp dụng đúng ý tưởng này: bạn vẽ hoặc tạo hai keyframe, và mô hình làm các in-between.

Nội suy khung hình cổ điển, như phương pháp FILM của Google Research, lấp các khung giữa hai bức ảnh chụp cách nhau một khoảnh khắc. Nó ước lượng các điểm ảnh đã dịch chuyển thế nào và pha trộn dọc theo chuyển động đó. Cách này tốt để làm mượt slow motion, nhưng không thể bịa nội dung mới, nên thay đổi lớn trông như một cú morph.

Nội suy sinh tạo đi xa hơn. Một mô hình khuếch tán video được đặt điều kiện theo cả hai ảnh và tạo ra một clip đầy đủ mà khung đầu khớp với ảnh này và khung cuối khớp với ảnh kia. Bài báo Generative Inbetweening năm 2024 đã điều chỉnh một mô hình image-to-video cho việc này: chạy một lượt xuôi từ khung đầu, một lượt ngược từ khung cuối, rồi hợp nhất. Các sản phẩm như Veo, Kling, Runway và Seedance cung cấp cùng ý tưởng dưới dạng tùy chọn khung bắt đầu và khung kết thúc, và tài liệu Veo của Google mô tả đó là chỉ định khung hình đầu, khung hình cuối cùng với một prompt.

Khi nào nên dùng

• Bạn cần clip kết thúc ở đúng một tư thế, góc sản phẩm hoặc bố cục, ví dụ lộ diện logo hay sản phẩm xoay về phía máy quay.
• Bạn đang nối các cảnh: khung cuối của cảnh A trở thành khung đầu của cảnh B, nên đoạn cắt không lộ.
• Bạn muốn một biến đổi có kiểm soát, như ngày sang đêm, bông hoa khép sang nở, đĩa trống thành đĩa đã dọn món.
• Bạn muốn một chuyển động máy có điểm đến cố định, như cảnh rộng kết thúc ở cận cảnh một cánh cửa.

Nếu bạn chỉ quan tâm clip bắt đầu thế nào, image-to-video thông thường đơn giản hơn và cho mô hình nhiều tự do hơn.

Cách thiết kế hai khung hình

Mô hình phải tìm một lộ trình đáng tin từ khung A đến khung B trong vài giây. Việc của bạn là làm cho lộ trình đó ngắn và hiển nhiên.

1. Tạo cả hai khung từ cùng một nguồn. Tạo khung A, rồi tạo khung B bằng cách chỉnh sửa khung A (đổi tư thế, biểu cảm hoặc ánh sáng) thay vì tạo ảnh mới từ đầu. Cùng nhân vật, cùng quần áo, cùng hậu cảnh, cùng ống kính.
2. Chỉ đổi một thứ chính. Một thay đổi tư thế, hoặc một thay đổi máy quay, hoặc một thay đổi ánh sáng. Hai thay đổi cùng lúc thường cho ra một hỗn hợp không giống cái nào.
3. Giữ mức thay đổi hợp lý so với độ dài. Một cú quay đầu vừa trong vài giây; đi qua phòng rồi ngồi xuống cần clip dài hơn hoặc hai cảnh.
4. Giữ cùng tỷ lệ khung hình và độ phân giải cho cả hai ảnh. Ví dụ, tài liệu của Google dùng 16:9 hoặc 9:16 cho cả hai.
5. Kiểm tra lộ trình có khả thi về mặt vật lý không. Nếu tay trái giơ lên ở khung A và đút túi ở khung B, bàn tay phải đi tới nơi mà máy quay nhìn thấy được.
6. Viết prompt mô tả sự thay đổi. Ví dụ của Google ghép khung đầu là những chiếc bánh quy với khung cuối là bánh quy và sữa, và prompt mô tả hành động nối chúng lại.

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

Kiểu chuyển cảnh thành công và thất bại

Khi bạn muốn một cú morph có chủ đích, như hạt giống thành cây hay phong cách này đổi sang phong cách khác, một lộ trình thất bại có thể trở thành hiệu ứng. Hãy nói điều đó trong prompt: 'smooth magical transformation' cho mô hình biết morph là chủ ý, và nó thường trông sạch hơn một cú morph ngoài ý muốn.

Nối các clip bằng khung hình dùng chung

Công cụ khung hình đầu và cuối cũng là công cụ giữ tính liền mạch cho chuỗi dài hơn. Hãy lên danh sách keyframe, rồi tạo từng clip giữa hai keyframe kề nhau.

Vì clip 2 bắt đầu đúng ở khung hình mà clip 1 kết thúc, các chỗ nối liền mạch. Màu sắc và độ nét vẫn có thể lệch nhẹ ở mỗi chỗ nối, nên hãy chỉnh màu cho đồng đều khi dựng, và giữ hướng chuyển động nhất quán để các đoạn cắt tự nhiên.

Giới hạn và cách khắc phục

• Khởi động chậm rồi dồn dập. Đôi khi mô hình giữ nguyên khung đầu rồi lao vội tới khung cuối. Hãy mô tả nhịp độ: 'moves steadily over the whole clip'.
• Cross-fade ngầm. Nếu hai khung quá khác nhau, mô hình có thể hòa tan từ khung này sang khung kia. Hãy đưa hai khung lại gần nhau hơn, hoặc thêm một keyframe ở giữa.
• Trôi danh tính ở giữa. Hai đầu khớp, nhưng khuôn mặt đổi ở nửa chừng. Dùng khung hình gần hơn, clip ngắn hơn, và các khung hình làm từ cùng một ảnh nguồn.
• Khung cuối không chính xác. Một số công cụ coi khung cuối là gợi ý mạnh chứ không phải quy tắc cứng. Cắt hoặc giữ khung cuối khi dựng nếu cần.
• Chữ và logo khi chuyển động. Hãy giữ chúng đứng yên, hoặc thêm vào khi dựng.