¿Cómo funciona la IA de imagen a imagen?

La idea central: ruido parcial y después eliminación de ruido

Un modelo de difusión normalmente construye una imagen eliminando ruido de la aleatoriedad pura. La imagen a imagen se salta la primera parte de ese recorrido. Toma tu imagen, le añade ruido hasta que queda parcialmente oculta y después ejecuta los pasos de eliminación de ruido restantes con tu prompt. Este método se describió en el artículo de SDEdit, que mostró que un modelo de difusión puede convertir un boceto tosco o una foto editada en una imagen realista sin ningún entrenamiento adicional.

La cantidad de ruido es el ajuste más importante. Se llama fuerza (strength), denoise o peso de la imagen según la herramienta. Con poco ruido, solo puede cambiar la textura fina. Con mucho ruido, las formas casi han desaparecido y el modelo inventa una imagen nueva que solo sigue vagamente los colores y la disposición anteriores.

En muchas implementaciones, la fuerza también determina cuántos pasos se ejecutan realmente. Si la herramienta está configurada con 50 pasos y la fuerza es 0,8, se añade ruido equivalente a unos 40 pasos y luego se elimina durante esos 40 pasos.

Cómo elegir el valor de fuerza

Las cifras exactas varían según el modelo, pero los rangos de abajo son un buen punto de partida para las herramientas con una escala de 0 a 1. Las herramientas con una escala de peso de imagen suelen funcionar al revés: un peso mayor conserva más del original.

Sube la fuerza en pequeños saltos de unos 0,1 y mantén fija la semilla, para ver el efecto de la fuerza por sí sola. Si el rostro de una persona cambia demasiado antes de que el estilo cambie lo suficiente, la fuerza por sí sola no es la herramienta adecuada: añade una imagen de control o usa inpainting solo en el fondo.

Imágenes de referencia y transferencia de estilo

No toda imagen que le das a un modelo es un punto de partida. Muchas herramientas también aceptan una imagen de referencia que guía el resultado sin que se le añada ruido. Se convierte en características que trabajan junto con el prompt de texto. IP-Adapter es un método abierto muy conocido: añade un pequeño módulo a un modelo de texto a imagen congelado, con capas de atención separadas para las características de la imagen, de modo que puedes dar un prompt de imagen y un prompt de texto a la vez. Las herramientas alojadas suelen llamarlo prompt de imagen, referencia de estilo o referencia de personaje.

Hay dos formas habituales de cambiar el estilo de una imagen:

• Imagen a imagen con un prompt de estilo. Tu foto es la imagen inicial y el prompt nombra el nuevo estilo, por ejemplo watercolor illustration, loose brush strokes, white paper. Es sencillo, pero los rostros y los detalles pequeños se desvían con una fuerza alta.
• Estructura de una imagen, estilo de otra. Una imagen de control (profundidad o bordes) conserva la disposición de tu foto, mientras que una referencia de estilo o un prompt define el aspecto. Así la composición se mantiene estable incluso con una fuerza alta.

Start image: photo of a street market at dusk
Strength:    0.55
Prompt:      gouache painting of a street market at dusk, flat shapes,
             warm lantern light, limited palette of orange, teal and cream
Negative:    photo, text, watermark

Describe la imagen como quieres que se vea, no como una orden. Gouache painting of a street market funciona mejor que make this a painting, porque el prompt se compara con descripciones de imágenes, no se obedece como un comando. Algunos modelos nuevos entrenados con pares de edición sí entienden instrucciones; comprueba qué espera tu herramienta.

Inpainting y outpainting

El inpainting cambia solo una zona enmascarada. Pintas una máscara sobre la región que quieres reemplazar, normalmente blanco para cambiar y negro para conservar, y el modelo la rellena para que encaje con el prompt y con los píxeles circundantes. RePaint mostró que incluso un modelo de difusión corriente puede hacer inpainting si se vuelven a colocar los píxeles conocidos en cada paso de eliminación de ruido; los modelos de inpainting específicos, entrenados con máscaras, suelen integrarse con más limpieza.

1. Enmascara un poco más grande que el objeto, para que el modelo pueda fundir el borde.
2. Suaviza el borde de la máscara (difuminado o desenfoque) para evitar una costura visible.
3. Escribe el prompt para la zona enmascarada y su contexto, por ejemplo empty wooden bench in a park, y no solo remove person.
4. Usa una fuerza de media a alta para reemplazar y baja para reparar.
5. Si la zona es pequeña dentro de una imagen grande, usa una opción de recorte y ampliación (a veces llamada only masked o mask crop) para que el modelo trabaje a mayor resolución.

El outpainting amplía una imagen más allá de su borde. Se agranda el lienzo, se enmascara la nueva zona vacía y el modelo la rellena para continuar la escena. Es útil para convertir una foto cuadrada en un banner 16:9. Amplía en pasos de entre un cuarto y la mitad de la imagen cada vez; los saltos muy grandes tienden a repetir objetos o perder la perspectiva.

Condicionamiento tipo ControlNet: profundidad, pose y bordes

ControlNet añade una copia entrenable de parte de un modelo de imágenes congelado que lee una imagen de control adicional. La imagen de control fija la estructura; el prompt decide de qué está hecha esa estructura. El artículo original mostró el control mediante bordes, profundidad, mapas de segmentación y pose humana, y la misma idea existe hoy para muchas familias de modelos.

La mayoría de las herramientas dan a cada control un peso (por ejemplo, una escala de condicionamiento) y a veces un punto de inicio y fin dentro de los pasos de eliminación de ruido. Un peso demasiado alto copia la imagen de control de forma demasiado literal, por ejemplo cuando el ruido de los bordes se convierte en líneas duras; demasiado bajo, y se ignora. Un valor intermedio con una imagen de control clara suele funcionar mejor. También puedes combinar dos controles, como profundidad más pose, dando a cada uno un peso menor.

Para crear un mapa de profundidad a partir de una foto puedes usar un modelo de estimación de profundidad. Por ejemplo, la herramienta de mapa de profundidad de cv.cm convierte una foto en una imagen de profundidad en escala de grises dentro del navegador, que puedes usar como control de profundidad.

Problemas frecuentes y soluciones

• El rostro cambia de identidad. Baja la fuerza, haz inpainting solo en el fondo o usa una referencia de rostro o de personaje.
• Los colores se mantienen demasiado cerca del original incluso con una fuerza alta. La imagen inicial sigue aportando su color general. Cambia antes los colores en un editor, o apóyate en una imagen de control y una fuerza mayor.
• Costuras visibles tras el inpainting. Agranda y difumina la máscara, e incluye algo de contexto en el prompt.
• Objetos duplicados o deformados tras el outpainting. Amplía en pasos más pequeños y repite la descripción de la escena en el prompt.
• El resultado es borroso. La fuerza puede ser demasiado baja para añadir detalle, o la imagen es demasiado pequeña. Amplía primero o usa una opción de recorte de máscara.
• Derechos. Cambiar el estilo de una foto que no es tuya no la convierte en tuya; los derechos originales siguen importando.