¿Cómo funciona la IA de texto a video?

Qué ocurre cuando pulsas generar

La mayoría de los sistemas de texto a video son modelos de difusión ampliados de la imagen al video. El artículo de 2022 Video Diffusion Models, de Ho y colaboradores, mostró la idea básica: tratar un clip como un bloque de fotogramas, añadir ruido a clips reales durante el entrenamiento y enseñar a una red a eliminarlo. Al generar, el modelo parte de ruido puro en todos los fotogramas y los limpia a la vez, así que el movimiento y el aspecto se deciden de forma conjunta.

Tres ideas lo hacen viable a gran escala.

• Espacio latente. El modelo trabaja con una versión comprimida del video, no con los píxeles originales. Un decodificador aparte convierte el resultado en fotogramas. Stable Video Diffusion es un ejemplo abierto de este enfoque latente.
• Espacio y tiempo a la vez. La red mira entre fotogramas además de dentro de cada uno, de modo que un rostro del fotograma 1 y del fotograma 40 se trata como el mismo rostro. El informe de Sora de OpenAI describe cómo se divide el video en parches espaciotemporales para un transformer.
• Condicionamiento por texto. Un codificador de lenguaje convierte tu prompt en números que guían cada paso de eliminación de ruido. Algunos sistemas también redactan una descripción más rica a partir de tu prompt antes de generar.

Imagen Video, de Google, añadió una cascada: primero se genera un clip pequeño, corto y de pocos fotogramas por segundo, y después otros modelos suben su resolución y su frecuencia de fotogramas. Muchos productos siguen usando alguna versión de esta idea en dos etapas, por eso un modo borrador suele ser más rápido y de menor calidad que el render final.

El flujo de trabajo, de la idea al clip utilizable

1. Decide el plano. Un sujeto, una acción, un movimiento de cámara. Si necesitas más, planifica varios planos.
2. Escribe el prompt con sujeto, acción y tiempos, cámara, escenario y luz, estilo y audio. Consulta la guía de prompts de video para ver la estructura.
3. Configura las opciones técnicas en la interfaz: duración, relación de aspecto, resolución y audio activado o desactivado.
4. Genera de 2 a 4 tomas con el mismo prompt. Los resultados varían mucho de una semilla a otra.
5. Elige la mejor toma y, si aún necesita trabajo, cambia una sola cosa del prompt.
6. Si los rostros o los productos deben verse exactos, pasa a imagen a video y dale al modelo un fotograma inicial.
7. Recorta el clip en un editor. Quita los primeros y últimos fotogramas si tiemblan.

El error más caro es arreglar un mal plano con prompts cada vez más largos. Si fallan tres intentos, lo más probable es que el plano sea demasiado complejo para el modelo. Simplifica la acción o divídela.

Ajustes que importan

Los límites exactos de duración, resolución y precio cambian a menudo y dependen de cada herramienta, así que consulta la documentación actual de la que uses.

Ejemplo: un clip de 15 segundos en tres planos

En lugar de pedir un único clip de 15 segundos con una rutina matutina, planifica tres planos de unos cinco segundos cada uno. Cada plano tiene una sola función, y la misma línea de estilo los mantiene a juego.

Shot 2 of 3. Medium close-up, eye level, slow push-in.
A young man with messy short brown hair, grey T-shirt, sits up in bed.
He rubs his eyes with one hand, then turns his head toward the window
and holds still. Soft warm morning light from the left, white sheets.
Style: natural live-action, 35mm film look, warm muted colors.
Audio: birds outside, a quiet room. No music.

Repetir palabra por palabra la descripción del sujeto y la línea de estilo en cada plano es la herramienta de continuidad más sencilla. Para una coherencia mayor, crea primero una imagen fija del personaje y úsala como fotograma inicial.

¿Texto a video o imagen a video?

El texto a video lo decide todo a partir de palabras. Es ideal para explorar ideas y para escenas en las que el aspecto exacto no importa. La imagen a video parte de una imagen que tú aportas, así que el aspecto queda fijado y el prompt solo tiene que describir el movimiento.

Un enfoque híbrido habitual es crear una imagen fija con un modelo de imágenes y luego animarla. Por ejemplo, ai-image-generator de cv.cm puede hacer un borrador rápido de 384 px en tu propia GPU; después, un modelo de video completo anima una versión más grande.

Límites que debes tener en cuenta

El texto a video ha mejorado muy rápido, pero algunas debilidades son estructurales. En el momento de escribir esto, ten en cuenta lo siguiente:

• Física. Verter líquidos, romper cosas, las colisiones y la tela suelen verse mal. El propio informe de Sora puso como ejemplo el vidrio que se rompe, una física que el modelo no resolvía bien. Mantén los eventos físicos sencillos o muéstralos fuera de plano.
• Manos y objetos pequeños. Los dedos se funden y los objetos atraviesan las manos. Mantén simples las acciones con las manos y evita primeros planos de trabajo fino con los dedos.
• Texto en pantalla. Los carteles y subtítulos suelen salir ilegibles. Añade el texto en la edición.
• Deriva de identidad. Un rostro puede cambiar entre el inicio y el final de un clip, y más aún entre clips. Usa una imagen inicial o imágenes de referencia.
• Conteo y multitudes. «Tres perros» pueden convertirse en dos o cuatro; las personas de una multitud pueden fundirse.
• Tomas largas. La calidad y el seguimiento del prompt bajan cuanto más largo es el clip. Monta planos cortos en su lugar.