AI 배경 제거는 어떤 원리로 동작할까?

한 줄 요약: 마스크가 알파 채널이 된다

사진에는 빨강, 초록, 파랑 세 가지 색 채널이 있습니다. 누끼를 딴 이미지에는 각 픽셀이 얼마나 불투명한지 알려 주는 네 번째 채널, 알파가 필요합니다. 배경 제거는 이 알파 채널을 자동으로 채우는 작업입니다.

모델은 새 배경을 그리지도, 픽셀을 옮기지도 않습니다. 모든 픽셀에 대해 단 하나의 질문에만 답합니다. 이 픽셀 중 얼마만큼이 피사체에 속하는가? 사진의 색상 값은 그대로입니다. 결과를 체크무늬 위나 새 배경 위에서 열면 알파 값이 무엇을 비춰 낼지 결정합니다.

1. 사진을 모델의 작업 크기로 줄입니다. 많은 모델이 고정된 정사각형 크기로 작동하며, 예를 들어 BiRefNet은 1024 × 1024에서 학습하고 테스트했습니다.
2. 신경망이 픽셀마다 숫자 하나를 출력합니다. 마지막 시그모이드 단계가 이 값을 0에서 1 사이로 압축합니다.
3. 점수 맵을 원본 사진 크기로 다시 키웁니다.
4. 점수가 알파 채널(8비트 이미지에서는 0~255)이 되고, 파일이 알파를 포함해 인코딩됩니다.

3단계는 더 작은 크기로 계산한 마스크를 확대하는 과정이라, 아주 큰 사진의 미세한 가장자리는 늘 추정값입니다. 6000픽셀짜리 제품 사진이 가운데는 선명한데 윤곽은 살짝 부드럽게 보이는 이유 중 하나입니다.

세그멘테이션과 매팅의 차이

배경 제거에는 두 연구 분야가 만나며, 이 차이가 가장자리 문제 대부분을 설명해 줍니다.

세그멘테이션은 사물이 어디 있는지 정하고, 매팅은 가장자리가 어떻게 섞이는지 정합니다. 머리카락 한 올의 끝부분 픽셀은 30%가 머리카락이고 70%가 하늘일 수 있으므로, 올바른 알파는 0이나 1이 아니라 0.3 정도입니다. 고전적인 딥러닝 매팅 방법인 Deep Image Matting은 이미지와 손으로 그린 트라이맵을 입력받아 불확실한 띠 안의 이 분수 값을 예측합니다.

원클릭 제거기는 트라이맵을 쓰지 않습니다. IS-Net, BiRefNet 같은 이분 이미지 분할(dichotomous image segmentation) 계열 모델은 윤곽이 매우 정밀한 고해상도 이미지로 학습되어, 사용자 입력 없이도 얇은 구조를 따라갈 수 있습니다. 출력은 여전히 물리적인 진짜 매트가 아니라 세그멘테이션 점수지만, 점수가 연속적이라 대부분의 사진에서 매팅에 가까운 부드러운 가장자리를 만들어 줍니다.

출력이 PNG(또는 WebP)여야 하는 이유

JPEG에는 알파 채널이 없습니다. 누끼 이미지를 JPEG로 저장하면 투명한 픽셀에도 어떤 색이든 채워야 하고, 도구들은 흰색이나 검은색으로 채웁니다. 방금 지운 배경이 단색 배경으로 바뀌는 셈입니다.

PNG 규격은 알파를 비연관(premultiplied가 아닌) 방식으로 저장합니다. 반투명 픽셀의 색은 최대 강도로 유지하고 알파는 따로 보관하죠. 그래서 PNG는 안전한 원본 파일이 됩니다. 나중에 어떤 배경에 올려도 이전 블렌딩 때문에 생기는 어두운 테두리가 없습니다.

흰 배경을 요구하는 마켓플레이스용 JPEG가 필요하다면, 먼저 도구에서 흰 배경을 적용한 뒤 JPEG로 내보내세요. PNG는 원본으로 보관합니다.

어려운 경우: 머리카락, 털, 유리, 그림자

• 머리카락과 털. 가닥 하나가 모델의 작업 크기에서는 1픽셀보다 가늘어서, 모델이 보기도 전에 일부가 사라집니다. 머리카락 뭉치는 남고 삐져나온 가닥은 흐려지기 쉽습니다. 어떤 설정보다 단색의 대비가 뚜렷한 벽을 배경으로 촬영하는 편이 더 효과적입니다.
• 비슷한 색. 검은 소파 위의 검은 개나 흰 벽 앞의 흰 셔츠는 신경망이 찾을 가장자리가 거의 없습니다. 모델은 형태에 대한 지식에 의존하게 되고 피사체 안쪽을 잘라 낼 수 있습니다.
• 유리, 물, 베일. 와인잔은 대부분 그 너머로 보이는 배경입니다. 세그멘테이션 모델은 선택해야 합니다. 유리(와 그 안의 옛 배경)를 남길지, 버릴지. 어느 쪽도 물리적으로 맞지 않습니다. 진짜 투명도를 표현하려면 매트와 유리의 실제 색이 필요한데, 사진 한 장으로는 알 수 없습니다.
• 그림자와 반사. 제품의 접촉 그림자는 바닥에 속하므로 대부분의 제거기가 지우고, 그러면 제품이 공중에 뜬 것처럼 보입니다. 쇼핑몰 사진은 나중에 부드러운 그림자를 다시 넣는 편이 더 자연스러운 경우가 많습니다.
• 구멍. 팔과 몸통 사이의 틈, 손잡이 안쪽이나 자전거 바퀴 안쪽은 배경입니다. 성능이 좋은 고해상도 모델은 이를 잡아내지만, 약한 모델은 메워 버립니다.
• 컬러 스필. 피사체 가장자리에 튄 초록색 등 색 조명은 배경이 사라진 뒤에도 RGB 값에 남습니다. 새 배경에서는 색 테두리로 보입니다.

더 깔끔하게 누끼 따는 법

품질은 도구보다 사진에서 대부분 결정됩니다. 간단한 체크리스트입니다.

1. 색과 밝기 모두에서 피사체와 배경의 대비가 분명하게 촬영합니다.
2. 피사체를 선명하게 유지합니다. 가장자리의 모션 블러와 얕은 초점은 불확실한 알파가 됩니다.
3. 프레임을 채웁니다. 피사체가 이미지의 큰 부분을 차지하면 모델 입력 크기로 줄인 뒤에도 더 많은 디테일이 남습니다.
4. 결과를 어두운 배경과 밝은 배경 위에서 모두 확인합니다. 흰색 위에서는 숨어 있던 후광이 검은색 위에서 드러나고, 반대의 경우도 있습니다.
5. 잘 안 되는 부분은 편집기에서 부드러운 지우개나 마스크 브러시로 직접 고치되, PNG 원본에서 작업합니다.
6. 완벽해야 하는 머리카락 인물 사진은 자동 누끼 이후 트라이맵 방식 매팅 도구나 가장자리 다듬기 브러시를 사용합니다.

특정 도구의 클릭 순서는 사진 배경 제거 단계별 튜토리얼을 참고하세요. 예를 들어 cv.cm의 배경 제거 도구는 브라우저에서 BiRefNet을 실행하므로 사진이 업로드되지 않으며, 투명 PNG로 내보내거나 피사체를 흰색, 단색, 원본을 흐리게 한 배경 위에 올릴 수 있습니다.

한계와 현실적인 기대치

자동 배경 제거는 이제 대부분의 상품 등록, 프로필 사진, 슬라이드 자료에 충분히 쓸 만합니다. 하지만 광고나 영화 작업의 세심한 마스킹을 대체하지는 못합니다. 모델은 학습 데이터에서 배운 것만 압니다. 특이한 물체, 겹친 사람들, 불분명한 피사체(세 사람 중 누가 피사체인가?)는 의외의 마스크를 만들 수 있습니다.

또 모델은 무엇을 남기려 했는지 모릅니다. 컵만 남기고 컵을 든 손은 빼고 싶어도, 학습 데이터가 손과 컵을 하나의 전경으로 취급했기 때문에 자동 누끼는 보통 둘 다 남깁니다. 먼저 자르거나, 나중에 남는 부분을 지우세요.

마지막으로, 배경을 제거해도 다른 정보는 사라지지 않습니다. GPS 위치 같은 EXIF 데이터가 원본 파일에 남아 있을 수 있습니다. 누끼 이미지를 공개적으로 공유한다면 새 파일로 내보내고, 필요하면 메타데이터를 제거하세요.