¿Cómo funciona el video con IA de primer y último fotograma?

Qué significa interpolar fotogramas clave

En animación, un fotograma clave es un dibujo que fija un momento importante, y los fotogramas que hay entre ellos se llaman intercalados (in-betweens). El video de primer y último fotograma aplica la misma idea: tú dibujas o generas los dos fotogramas clave y el modelo hace los intercalados.

La interpolación de fotogramas clásica, como el método FILM de Google Research, rellena fotogramas entre dos fotos tomadas con un instante de diferencia. Estima cómo se movieron los píxeles y mezcla siguiendo ese movimiento. Sirve para suavizar la cámara lenta, pero no puede inventar contenido nuevo, así que los cambios grandes parecen un fundido deformante (morph).

La interpolación generativa va más lejos. Un modelo de difusión de video se condiciona con ambas imágenes y genera un clip completo cuyo primer fotograma coincide con una y cuyo último fotograma coincide con la otra. El artículo de 2024 Generative Inbetweening adaptó un modelo de imagen a video para esto: hace una pasada hacia delante desde el primer fotograma y otra hacia atrás desde el último, y las combina. Productos como Veo, Kling, Runway y Seedance ofrecen la misma idea como opción de fotograma inicial y final, y la documentación de Veo de Google la describe como indicar el primer y el último fotograma más un prompt.

Cuándo usarlo

• Necesitas que el clip termine en una pose, un ángulo de producto o una composición exactos, por ejemplo en la revelación de un logotipo o un producto que gira hasta mirar a la cámara.
• Vas a unir planos: el último fotograma del plano A pasa a ser el primero del plano B, de modo que el corte es invisible.
• Quieres una transformación controlada, como de día a noche, de flor cerrada a flor abierta o de plato vacío a plato servido.
• Quieres un movimiento de cámara con un destino fijo, como un plano general que termina en un primer plano de una puerta.

Si solo te importa cómo empieza el clip, la imagen a video simple es más sencilla y da más libertad al modelo.

Cómo diseñar los dos fotogramas

El modelo tiene que encontrar un camino creíble del fotograma A al B en unos pocos segundos. Tu trabajo es que ese camino sea corto y evidente.

1. Crea ambos fotogramas a partir de la misma fuente. Genera el fotograma A y obtén el B editando el A (cambia la pose, la expresión o la luz) en lugar de generar una imagen nueva desde cero. Mismo personaje, misma ropa, mismo fondo, mismo objetivo.
2. Cambia una sola cosa importante. Un cambio de pose, o de cámara, o de iluminación. Dos cambios a la vez suelen producir una mezcla que no es ni lo uno ni lo otro.
3. Mantén el tamaño del cambio acorde con la duración. Un giro de cabeza cabe en unos segundos; cruzar una habitación y sentarse requiere un clip más largo o dos planos.
4. Usa la misma relación de aspecto y resolución en las dos imágenes. La documentación de Google, por ejemplo, usa 16:9 o 9:16 para ambas.
5. Comprueba que el camino sea físicamente posible. Si la mano izquierda está levantada en el fotograma A y en un bolsillo en el B, la mano tiene que pasar por algún sitio que la cámara pueda ver.
6. Escribe un prompt que describa el cambio. El ejemplo de Google empareja un primer fotograma con galletas y un último fotograma con galletas y leche, y el prompt describe la acción que los conecta.

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

Transiciones que funcionan y transiciones que fallan

Cuando quieres un morph deliberado, como una semilla que se convierte en árbol o un estilo que se transforma en otro, un camino fallido puede convertirse en el efecto. Dilo en el prompt: «smooth magical transformation» le indica al modelo que se busca un morph, y suele verse más limpio que uno accidental.

Encadenar clips con fotogramas compartidos

Las herramientas de primer y último fotograma también sirven para mantener la continuidad en secuencias más largas. Planifica una lista de fotogramas clave y genera cada clip entre dos vecinos.

Como el clip 2 empieza exactamente en el fotograma en el que termina el clip 1, las uniones son imperceptibles. Aun así, los colores y la nitidez pueden variar ligeramente en cada unión, así que iguala el color de los clips en la edición y mantén la misma dirección de movimiento para que los cortes resulten naturales.

Límites y soluciones

• Arranque lento y tirón final. A veces los modelos mantienen el primer fotograma y luego se precipitan hacia el último. Describe el ritmo: «moves steadily over the whole clip».
• Fundido encadenado oculto. Si los fotogramas son demasiado distintos, el modelo puede disolver uno en otro. Acerca los dos fotogramas o añade un fotograma clave intermedio.
• Deriva de identidad en el medio. Los extremos coinciden, pero el rostro cambia a mitad de clip. Usa un encuadre más cercano, un clip más corto y fotogramas creados a partir de la misma imagen.
• El último fotograma no es exacto. Algunas herramientas tratan el último fotograma como una pista fuerte y no como una regla estricta. Recorta o congela el fotograma final en la edición si hace falta.
• Texto y logotipos en movimiento. Mantenlos quietos o añádelos en la edición.