Bagaimana cara kerja image-to-video AI?

Apa bedanya dengan text-to-video

Di text-to-video, model mengarang segalanya: wajah, pakaian, ruangan, cahaya, dan gerakan. Di image-to-video, kamu menyediakan frame pertama, dan model hanya perlu mengarang apa yang terjadi berikutnya. Dokumentasi Veo dari Google menyebutnya memakai gambar yang sudah ada sebagai frame pertama video baru; panduan Sora dari OpenAI menyebutnya menjangkarkan frame pertama.

Ini mengubah fungsi prompt. Gambar sudah menjawab siapa, di mana, dan gaya apa. Prompt menjawab apa yang bergerak, ke arah mana, seberapa cepat, dan apa yang dilakukan kamera.

Di dalam model, gambar awal di-encode dan dimasukkan sebagai kondisi, bersama teks. Stable Video Diffusion, model terbuka, dirilis dengan varian text-to-video dan image-to-video yang dibangun di atas basis difusi video laten yang sama.

Memilih gambar awal

Gambar awal menentukan hasil lebih besar daripada prompt. Sebagian besar klip image-to-video yang gagal bisa ditelusuri ke gambar awal yang tidak menyisakan ruang untuk gerakan.

• Sesuaikan rasio aspek output. Kalau alat menghasilkan 16:9 atau 9:16, berikan gambar dengan bentuk itu; ukuran lain bisa terpotong atau diubah ukurannya. Dokumentasi Veo dari Google menyarankan input minimal 720p dalam 16:9 atau 9:16.
• Sisakan ruang untuk gerakan. Kalau orang akan berjalan ke kanan, beri ruang di sebelah kanan. Kalau kamera akan push in, wajah sebaiknya belum memenuhi frame.
• Atur pose untuk awal aksi. Untuk 'she turns to look at the camera', mulailah dengan ia menghadap ke arah lain.
• Subjek jelas dan tajam. Wajah yang buram atau kecil jadi lebih buruk setelah dianimasikan.
• Tangan yang sederhana. Tangan yang tersembunyi, rileks, atau tidak memegang apa pun teranimasi lebih bersih.
• Tidak ada teks yang harus dipertahankan. Logo dan papan tanda bisa melengkung begitu frame mulai bergerak.

Kalau gambar awal dibuat dengan model gambar, buatlah untuk shot ini, bukan sebagai poster jadi: pose yang natural, sumber cahaya yang masuk akal, dan ruang di sekitar subjek.

Menulis prompt gerakan

Gambarkan hanya apa yang berubah. Mengulang deskripsi gambar menambah kata yang tidak dibutuhkan model dan bisa membuatnya diam saja. Contoh di dokumentasi image-to-video Google berupa baris gerakan pendek, seperti hewan yang bergerak natural atau bunga yang bergoyang pelan.

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. Gerakan subjek: satu aksi, dengan kecepatan dan titik akhir.
2. Gerakan sekunder: hal-hal kecil yang menghidupkan adegan, seperti rambut, daun, uap, air.
3. Kamera: satu gerakan atau statis. Lihat panduan istilah gerakan kamera.
4. Audio, jika model menghasilkan suara.

Buat gerakan yang mungkin secara fisik dari pose awal. Orang yang duduk di gambar tidak bisa berlari dengan mulus dalam dua detik. Kalau aksinya besar, pakai alat first-and-last-frame dan berikan juga pose akhirnya.

Metode parallax 2.5D: peta kedalaman plus gerakan kamera

Ada cara kedua yang jauh lebih sederhana untuk menggerakkan foto, dan ini sama sekali bukan video generatif. Cara ini sering disebut efek 3D Ken Burns, dari makalah tahun 2019 oleh Niklaus dan rekan-rekan.

1. Perkirakan kedalaman. Model kedalaman, seperti Depth Anything V2, memprediksi jarak setiap piksel dari kamera.
2. Ubah foto menjadi lapisan 3D. Tiap piksel didorong mundur sesuai kedalamannya, sehingga foto menjadi relief dangkal, bukan lembaran datar.
3. Gerakkan kamera virtual. Kamera push in, pull out, orbit, atau pan. Piksel dekat bergeser lebih jauh daripada piksel jauh, itulah paralaks, dan otak membacanya sebagai kedalaman.
4. Isi celah. Saat kamera bergerak, ia bisa melihat area yang tadinya tersembunyi di balik subjek. Alat sederhana meregangkan piksel di dekatnya atau men-zoom sedikit untuk menyembunyikan tepinya; sistem riset seperti makalah 3D Ken Burns melakukan inpainting pada area tersembunyi itu.

Inilah metode yang dipakai alat v dari cv.cm. Alat ini menjalankan Depth Anything V2 di browsermu, merender parallax dengan GPU sepanjang jalur push, pull, orbit, pan, atau naik, lalu mengekspor MP4. Kameranya yang bergerak; subjeknya tidak berkedip, berjalan, atau berbicara. Kamu juga bisa melihat peta kedalamannya lebih dulu dengan alat depth-map dari cv.cm.

Parallax bekerja terbaik pada foto dengan lapisan kedalaman yang jelas: orang di depan latar yang jauh, produk di atas meja, jalan yang menjauh ke kejauhan. Hasilnya buruk pada subjek datar, seperti dokumen atau tembok, karena tidak ada kedalaman yang bisa diungkap kamera.

Masalah umum dan solusinya