¿Cómo funciona la IA de imagen a video?

En qué se diferencia del texto a video

En el texto a video el modelo se inventa todo: el rostro, la ropa, la habitación, la luz y el movimiento. En la imagen a video tú pones el primer fotograma y el modelo solo tiene que inventar lo que ocurre después. La documentación de Veo de Google lo describe como usar una imagen existente como primer fotograma de un video nuevo; la guía de Sora de OpenAI habla de anclar el primer fotograma.

Esto cambia para qué sirve el prompt. La imagen ya responde a quién, dónde y en qué estilo. El prompt responde a qué se mueve, en qué dirección, a qué velocidad y qué hace la cámara.

Dentro del modelo, la imagen inicial se codifica y se introduce como condición junto con el texto. Stable Video Diffusion, un modelo abierto, se publicó con variantes de texto a video y de imagen a video construidas sobre la misma base de difusión de video latente.

Cómo elegir la imagen inicial

La imagen inicial decide más que el prompt. La mayoría de los clips fallidos de imagen a video se deben a una imagen inicial que no dejaba espacio para el movimiento.

• Ajusta la relación de aspecto de salida. Si la herramienta genera en 16:9 o 9:16, dale esa forma; otros tamaños pueden recortarse o redimensionarse. La documentación de Veo de Google recomienda una entrada de al menos 720p en 16:9 o 9:16.
• Deja espacio para el movimiento. Si la persona va a caminar hacia la derecha, deja sitio a la derecha. Si la cámara va a hacer un push-in, el rostro no debería llenar ya el encuadre.
• Pon la pose del inicio de la acción. Para «she turns to look at the camera», empieza con ella mirando hacia otro lado.
• Sujeto nítido y claro. Los rostros borrosos o diminutos empeoran al animarse.
• Manos sencillas. Las manos ocultas, relajadas o sin sostener nada se animan con más limpieza.
• Nada de texto que necesites conservar. Los logotipos y carteles pueden deformarse cuando el encuadre empieza a moverse.

Si creas la imagen inicial con un modelo de imágenes, genérala para el plano, no como un póster terminado: una pose natural, una fuente de luz creíble y espacio alrededor del sujeto.

Cómo escribir el prompt de movimiento

Describe solo lo que cambia. Repetir la descripción de la imagen añade palabras que el modelo no necesita y puede hacer que se quede quieto. Los ejemplos de la documentación de imagen a video de Google son líneas cortas de movimiento, como un animal que se mueve con naturalidad o flores que se mecen suavemente.

Weak:
A beautiful woman with long red hair in a green dress standing in a field
of flowers at sunset, highly detailed.

Strong:
She slowly turns her head toward the camera and smiles. A light breeze
moves her hair and the flowers. Slow dolly in. Audio: wind, distant birds.

1. Movimiento del sujeto: una acción, con velocidad y punto final.
2. Movimiento secundario: pequeños detalles que dan vida a la escena, como el pelo, las hojas, el vapor o el agua.
3. Cámara: un movimiento o cámara fija. Consulta la guía de movimientos de cámara.
4. Audio, si el modelo genera sonido.

Mantén el movimiento físicamente posible desde la pose inicial. Una persona sentada en la imagen no puede estar corriendo con naturalidad dos segundos después. Si la acción es grande, usa una herramienta de primer y último fotograma y dale también la pose final.

El método de paralaje 2.5D: mapa de profundidad más movimiento de cámara

Hay una segunda forma, mucho más sencilla, de mover una foto, y no es video generativo en absoluto. A menudo se llama efecto Ken Burns en 3D, por un artículo de 2019 de Niklaus y colaboradores.

1. Estimar la profundidad. Un modelo de profundidad, como Depth Anything V2, predice para cada píxel a qué distancia está de la cámara.
2. Convertir la foto en una capa 3D. Cada píxel se desplaza hacia atrás según su profundidad, de modo que la foto pasa a ser un relieve poco profundo y no una hoja plana.
3. Mover una cámara virtual. La cámara se acerca, se aleja, orbita o hace una panorámica. Los píxeles cercanos se desplazan más que los lejanos; eso es el paralaje, y el cerebro lo interpreta como profundidad.
4. Rellenar los huecos. Al moverse la cámara, puede ver zonas que estaban ocultas detrás del sujeto. Las herramientas sencillas estiran los píxeles vecinos o amplían un poco la imagen para disimular los bordes; los sistemas de investigación, como el del artículo de 3D Ken Burns, reconstruyen las zonas ocultas (inpainting).

Es el método que usa la herramienta v de cv.cm. Ejecuta Depth Anything V2 en tu navegador, genera el paralaje con la GPU a lo largo de una trayectoria de acercamiento, alejamiento, órbita, panorámica o ascenso, y exporta un MP4. La cámara se mueve; el sujeto no parpadea, ni camina, ni habla. También puedes ver antes el propio mapa de profundidad con la herramienta depth-map de cv.cm.

El paralaje funciona mejor con fotos que tienen capas de profundidad claras: una persona delante de un fondo lejano, un producto sobre una mesa, una calle que se aleja en la distancia. Funciona mal con sujetos planos, como un documento o una pared, porque no hay profundidad que la cámara pueda revelar.

Problemas frecuentes y soluciones