AI 캐릭터를 여러 이미지에서 같은 모습으로 유지하려면?

캐릭터가 달라지는 이유

이미지 모델에는 실행 사이의 기억이 없습니다. 생성할 때마다 새로운 무작위 노이즈에서 시작해 프롬프트를 처음부터 읽습니다. a young woman with short black hair 같은 말은 수백만 가지 얼굴을 가리키기 때문에 모델은 매번 다른 얼굴을 고릅니다. 표현, 포즈, 카메라 앵글이 조금만 달라져도 결과는 더 멀어집니다.

그래서 일관성은 모델이 기억하는 데서 오지 않습니다. 도구가 받아 주는 모든 형태로 매번 같은 정보를 모델에 주는 데서 나옵니다. 같은 단어, 같은 참조 그림, 큰 프로젝트라면 캐릭터를 학습한 작은 추가 모듈입니다. 아래 방법은 비용이 적은 것부터 손이 많이 가는 순서입니다. 대부분의 프로젝트는 두세 가지를 조합합니다.

1단계: 고정 캐릭터 블록 쓰기

묘사를 한 번 쓰고 텍스트 파일에 보관해 모든 프롬프트에 그대로 붙여 넣으세요. 눈에 잘 띄는 것부터 덜 띄는 순서로 쓰고, 보는 사람에게 실제로 보이는 것만 넣습니다.

MEI (character block, paste unchanged)
adult woman in her late 20s, East Asian, oval face, straight black hair
in a chin-length bob with blunt bangs, dark brown eyes, small mole under
the left eye, slim build, wearing a mustard-yellow raincoat over a white
T-shirt, dark blue jeans, white sneakers, round silver earrings

그다음 프롬프트는 캐릭터 블록에 장면을 더하는 식으로 만드세요. 바뀌는 것은 장면뿐입니다.

[MEI block], standing at a bus stop in the rain, holding a clear umbrella,
night, neon reflections on the wet road, medium shot, 35mm photo

• 눈에 띄는 기준점을 고르세요. 특이한 색 하나, 액세서리 하나, 얼굴의 점 하나입니다. Mustard raincoat와 mole under the left eye는 pretty보다 확인하고 재현하기 훨씬 쉽습니다.
• stylish outfit이나 cute처럼 실행마다 뜻이 달라지는 단어는 피하세요.
• 스타일 단어는 블록 밖에 두세요. 그러면 캐릭터를 수정하지 않고도 장면을 사진에서 일러스트로 바꿀 수 있습니다.
• 메모에서는 캐릭터에 이름을 붙이되 프롬프트에서는 이름에 의존하지 마세요. 지어낸 이름은 학습시키지 않는 한 모델에게 아무 의미가 없습니다.

2단계: 캐릭터 시트 만들기

캐릭터 시트는 캐릭터를 여러 각도에서 깔끔한 배경 위에 선명하게 보여 주는 이미지 한 장 또는 소수의 세트입니다. 이후 모든 샷에서 돌아와 참고하는 기준이 됩니다.

1. 캐릭터 블록으로 밝은 회색 단색 배경, 중립적인 조명, 전신 구도의 후보를 많이 생성하세요.
2. 마음에 드는 얼굴 하나를 고르세요. 이것이 기준 얼굴이니 더 이상 탐색하지 마세요.
3. 그 캐릭터의 턴어라운드 뷰를 만드세요. 정면, 3/4, 측면, 후면입니다. 선택한 이미지를 참조로 쓰거나 각도마다 포즈 제어를 쓰세요.
4. 표정(무표정, 미소, 놀람, 화남)을 한 줄로 추가하고 얼굴과 액세서리 클로즈업을 더하세요.
5. 오류는 인페인팅으로 고치고, 시트를 원본 해상도로 저장하면서 캐릭터 블록을 옆에 적어 두세요.

character turnaround sheet of [MEI block], front view, three-quarter view,
side view and back view, full body, standing in a neutral pose,
plain light gray background, even soft studio light, clean illustration

시트는 깔끔하게 유지하세요. 참조 이미지의 복잡한 배경이나 강한 조명은 얼굴과 함께 이후 이미지에 복사됩니다.

3단계: 생성할 때마다 참조 이미지 사용

최근 대부분의 도구는 참조로 이미지를 최소 한 장은 받습니다. 호스팅 도구에서는 캐릭터 레퍼런스, 서브젝트 레퍼런스, 또는 그냥 업로드 이미지라고 부르고, 오픈소스 워크플로에서는 IP-Adapter 같은 어댑터를 씁니다. 참조 이미지를 특징으로 바꿔 텍스트와 함께 모델을 이끄는 방식입니다. 시트에서 얼굴 클로즈업과 전신 이미지 한 장을 모델에 주고, 새 장면은 텍스트로 설명하세요.

• 샷에 맞는 크롭을 쓰세요. 클로즈업에는 얼굴 참조, 와이드 샷에는 전신 참조입니다.
• 모든 이미지가 참조의 포즈와 배경까지 복사한다면 참조 가중치를 낮추고, 얼굴이 흔들리면 높이세요.
• 직전에 생성한 이미지를 참조로 이어 가지 마세요. 오류가 쌓입니다. 항상 승인된 시트로 돌아가세요.
• 포즈가 정확히 일치해야 하면 포즈 제어 이미지도 함께 넣으세요. 이미지 투 이미지 가이드를 참고하세요.

시드: 유용하지만 한계가 있음

시드는 무작위 시작 노이즈를 고정합니다. 모델, 설정, 프롬프트가 같으면 같은 시드가 거의 같은 이미지를 만들기 때문에, 표정이나 조명만 바꾸고 나머지는 유지하는 식으로 한 샷의 작은 변형을 만드는 데 아주 좋습니다.

하지만 시드가 서로 다른 장면에서 캐릭터를 지켜 주지는 못합니다. 포즈, 배경, 프레이밍이 바뀌면 같은 시드라도 레이아웃이 달라지고 얼굴도 자주 달라집니다. 모델, 도구 버전, 하드웨어, 샘플러를 바꾸면 시드는 작동하지 않습니다. 시드는 그림을 재현하는 수단이지 캐릭터의 정체성이 아닙니다.

긴 프로젝트를 위한 4단계: LoRA와 파인튜닝

수백 장의 이미지에 등장하는 만화, 시리즈, 브랜드 마스코트라면 가장 강력한 방법은 모델에게 캐릭터를 가르치는 것입니다. 오픈소스 도구에서 흔히 쓰는 방법은 세 가지입니다.

학습 데이터가 설정보다 중요합니다. 시트와 승인된 샷에서 가져온 같은 캐릭터의 이미지를, 다양한 각도, 표정, 조명, 배경으로 모으고 각각에 캡션을 다세요. 학습 이미지가 모두 같은 배경이나 포즈라면 LoRA가 그것까지 학습합니다. 커스텀 캐릭터를 제공하는 호스팅 서비스도 내부적으로 비슷한 일을 합니다.

연속성 체크리스트

새 이미지를 프로젝트에 넣기 전에 캐릭터 시트와 나란히 비교하세요. 통과하지 못한 부분은 고치거나 다시 생성합니다.

샷마다 간단한 기록을 남기세요. 프롬프트, 시드, 사용한 참조, 모델, 수정한 내용입니다. 프로젝트 후반에 캐릭터가 달라졌을 때 어떤 변경 때문인지 기록이 알려 줍니다. 영상도 샷 단위로 같은 규칙이 적용됩니다. 멀티샷 영상 가이드에서 움직임 속에서 캐릭터를 유지하는 방법을 다룹니다.