텍스트 투 이미지 AI는 어떻게 작동하고 어떻게 잘 쓸까?

프롬프트에서 그림이 나오기까지

대부분의 텍스트 투 이미지 시스템은 세 부분으로 되어 있습니다. 텍스트 인코더가 프롬프트의 의미를 담은 숫자 목록을 만들고, 이미지 생성기가 그 숫자를 조건으로 그림을 만들며, 디코더가 생성기의 내부 표현을 실제 픽셀로 바꿉니다.

현재 가장 흔한 생성기는 확산 모델(diffusion model)입니다. 순수한 무작위 노이즈에서 시작해 여러 단계에 걸쳐 매번 노이즈를 조금씩 예측하고 제거하며, 텍스트가 방향을 이끕니다. Stable Diffusion 계열인 잠재 확산 모델(latent diffusion model)은 원본 크기의 픽셀 대신 압축된 공간에서 이 과정을 수행해서 훨씬 적은 비용으로 돌릴 수 있습니다. 자기회귀(autoregressive) 방식도 있습니다. 언어 모델이 단어를 쓰듯 이미지를 토큰 시퀀스로 하나씩 만들어 내는 방식이고, 예를 들어 Janus-Pro가 그렇습니다. 사용자가 넣는 입력은 두 방식이 같아서 아래 작업 순서는 어느 쪽에나 적용됩니다.

1. 프롬프트가 토큰으로 나뉘어 인코딩됩니다.
2. 시드로부터 무작위 시작점이 만들어집니다.
3. 생성기가 정해진 스텝 수만큼 그 시작점을 다듬고, 매 스텝마다 프롬프트 쪽으로 끌어당깁니다.
4. 디코더가 선택한 크기로 최종 이미지를 출력합니다.

알아 둘 설정

이름은 도구마다 다르고, 호스팅 서비스는 일부 설정을 숨기기도 합니다. 보이는 경우에는 아래 항목을 익혀 두면 좋습니다.

가이던스는 매 스텝에서 프롬프트가 있는 예측과 없는 예측 두 가지를 비교하고, 그 차이 방향으로 결과를 더 밀어붙이는 방식입니다. 그래서 가이던스 스케일이 프롬프트의 강도 다이얼처럼 느껴지고, 너무 높이면 모든 것이 과장됩니다.

아이디어에서 최종 이미지까지의 작업 순서

1. 한 문장으로 의뢰서를 쓰세요. 이미지의 용도, 형태(정사각형 게시물, 16:9 배너, 9:16 휴대폰 배경화면), 반드시 보여야 할 한 가지입니다.
2. 피사체, 동작, 배경, 스타일, 조명, 프레이밍을 담아 프롬프트 초안을 쓰세요.
3. 무작위 시드로 작은 이미지를 4~8장 생성하세요. 디테일이 아니라 구도를 보세요.
4. 가장 좋은 한 장을 골라 시드를 적어 두고, 이제부터 시드를 고정하세요.
5. 프롬프트에서 한 번에 한 가지(조명, 렌즈, 색)만 바꿔 비교하세요. 시드가 고정되어 있으면 차이는 내 단어에서 나옵니다.
6. 구도가 맞으면 처음부터 다시 생성하지 말고 인페인팅이나 이미지 투 이미지로 부분적인 문제를 고치세요.
7. 최종 이미지를 필요한 크기로 업스케일한 뒤, 얼굴, 손, 글자를 원본 크기로 확인하세요.
8. 나중에 변형을 만들 수 있도록 프롬프트, 시드, 모델, 설정을 파일 옆에 기록해 두세요.

다음은 5단계의 작은 예시입니다. 시드는 그대로 두고 실행할 때마다 조명 문구만 바꿉니다.

seed 1234
A: a lighthouse on a rocky coast, wide shot, overcast soft light
B: a lighthouse on a rocky coast, wide shot, golden hour, warm rim light
C: a lighthouse on a rocky coast, wide shot, blue hour, lamp glowing

시작 노이즈가 같기 때문에 A, B, C는 비슷한 레이아웃을 유지하고, 조명만 따로 비교할 수 있습니다. 매번 시드가 달랐다면 서로 다른 구도를 비교하게 됩니다.

크기와 해상도 고르기

모델마다 학습된 크기가 있습니다. 초기 Stable Diffusion 모델은 대부분 512×512 픽셀로 학습되었고, 최신 모델은 1024×1024 전후와 여러 화면 비율로 학습됩니다. 학습 크기보다 훨씬 큰 이미지를 요청하면 모델이 남는 공간을 아는 것으로 채우기 때문에 머리가 둘이거나 수평선이 겹치는 식으로 피사체가 반복되는 일이 많습니다.

더 안전한 방법은 모델의 기본 크기로 생성한 다음 AI 업스케일러로 키우는 것입니다. 예를 들어 cv.cm의 AI 이미지 생성기는 자기회귀 모델로 내 GPU에서 384픽셀 이미지를 만든 뒤 Real-ESRGAN으로 2배나 4배로 키울 수 있습니다. 업스케일러는 가장자리와 질감을 또렷하게 만들지만 물체를 추가하거나 잘못된 구도를 고칠 수는 없으니, 먼저 레이아웃부터 잡으세요.

텍스트 투 이미지가 아직 못하는 것

• 이미지 속 글자. 글자의 철자가 틀리거나 만들어 내는 경우가 있고, 긴 문장과 비라틴 문자에서 특히 그렇습니다. 정확해야 하는 글자는 나중에 편집기에서 넣으세요.
• 손과 개수 세기. 여분이거나 합쳐진 손가락은 예전보다 줄었지만 여전히 나옵니다. 정확한 개수(새 일곱 마리)와 공간 관계(왼쪽, 뒤)는 자주 틀립니다.
• 서로 다른 여러 인물. 한 사람의 특징이 다른 사람에게 번집니다. 장면을 단계별로 만들거나 참조 이미지를 쓰세요.
• 같은 캐릭터 재현. 참조 이미지, 고정 묘사, 파인튜닝을 쓰지 않으면 새로 생성할 때마다 새로운 사람이 나옵니다. 캐릭터 일관성 가이드를 참고하세요.
• 흔한 모습으로의 쏠림. 구체적으로 적지 않으면 모델은 학습 데이터에서 가장 흔한 얼굴, 장소, 스타일로 돌아갑니다. 나이, 지역, 체형, 배경을 분명히 쓰세요.
• 실존 인물, 브랜드, 로고. 많은 서비스가 막고 있으며, 도구가 허용하더라도 법적 위험이 생길 수 있습니다.

호스팅 서비스 vs 로컬 모델

Midjourney, GPT 이미지, Imagen, 온라인 Stable Diffusion·FLUX 서비스 같은 호스팅 도구는 시작하기 쉽고 큰 모델을 돌리지만, 프롬프트를 서버로 보내고 그 서비스의 콘텐츠 규칙과 약관을 따라야 합니다. 로컬 도구는 내 GPU에서 모델을 돌리므로 아무것도 기기 밖으로 나가지 않고 모든 설정이 보이지만, 모델이 메모리에 들어가야 해서 보통 더 작습니다.