생성형 AI란 무엇인가요?

생성형 AI와 기존 AI의 차이

2020년대 이전의 AI 대부분은 예측형이었습니다. 입력을 보고 라벨이나 숫자를 돌려주는 방식이죠. 이 메일이 스팸인지, 이 집의 가격은 얼마인지, 사진 속 얼굴이 누구인지를 맞히는 식입니다. 생성형 AI는 방향이 반대입니다. 짧은 입력을 받아 완전히 새로운 콘텐츠를 만들어 냅니다.

두 방식 모두 예시로 학습하고 통계에 기반한다는 점은 같습니다. 다른 점은 출력의 형태입니다. 스팸 필터는 단어 하나를 내놓지만, 언어 모델은 세상에 없던 문단을 써냅니다.

두 가지를 섞은 제품도 많습니다. 음성 인식(speech-to-text) 도구는 받아쓰기를 작성하니 좁은 의미에서는 생성형이지만, 정답 받아쓰기가 하나뿐이라 예측에 가깝습니다.

생성 모델은 어떻게 작동하나

모든 생성 모델은 두 단계로 움직입니다. 학습 단계에서는 수백만~수십억 개의 예시를 보면서 매개변수(파라미터, 가중치)라고 부르는 내부 숫자를 조정해, 데이터 속 패턴을 더 잘 재현하도록 만듭니다. 사용 단계, 즉 추론(inference)에서는 모델이 프롬프트에서 출발해 학습한 내용을 바탕으로 새 결과를 한 단계씩 쌓아 갑니다.

모델이 학습 예시를 하나하나 저장해 두었다가 그대로 붙여 넣는 것은 아닙니다. 텍스트, 이미지, 소리가 보통 어떤 모양인지를 압축한 통계적 그림을 저장할 뿐입니다. 그래서 새로운 조합을 만들 수 있고, 같은 이유로 자신 있게 틀리기도 합니다.

오늘날 대부분의 일을 하는 모델 계열은 세 가지입니다.

2017년에 등장한 트랜스포머 구조는 거의 모든 대규모 언어 모델의 바탕입니다. 확산 모델은 2020년 이후 이미지 생성의 주류가 되었습니다. GAN은 2014년에 가장 먼저 나왔고 지금도 빠른 이미지 작업 일부에 쓰입니다. 경계는 점점 흐려지고 있어서, 자기회귀 방식의 이미지 모델도 있고 확산과 트랜스포머를 결합한 영상 모델도 있습니다.

생성형 AI가 만들 수 있는 것

원리는 모든 종류의 미디어에 똑같이 적용됩니다. 달라지는 것은 학습 데이터와 출력을 표현하는 방식입니다.

AI 미디어 도구가 모두 완전한 의미의 생성형은 아닙니다. 예를 들어 cv.cm의 사진-투-영상 도구는 사진 한 장에서 깊이 맵을 추정하고 그 안에서 가상 카메라를 움직입니다. 카메라는 움직이지만 피사체는 움직이지 않습니다. 움직임을 담은 새 프레임을 만들어 내는 것이 아니기 때문입니다. 반면 텍스트-투-비디오 모델은 모든 프레임을 직접 생성합니다.

실전 예시: 아이디어 하나, 모델 여러 개

작은 가게가 새 도자기 머그컵을 알리는 15초 영상을 만든다고 해 봅시다. 일반적인 생성형 워크플로는 이렇습니다.

1. 텍스트: 대화형 모델에게 짧은 캡션 세 개와 30단어 분량의 나레이션 대본을 부탁합니다. 마음에 드는 것을 골라 직접 다듬습니다.
2. 이미지: 원하는 장면을 이미지 모델에 설명합니다. 예를 들면 부드러운 아침 햇살 아래 나무 테이블 위에 놓인 제품입니다. 여러 장을 생성해 하나를 고릅니다.
3. 영상: 그 이미지를 이미지-투-비디오 모델에 넣고 "김이 피어오르는 동안 천천히 다가간다" 같은 짧은 동작 프롬프트를 줍니다.
4. 음성: 대본을 TTS 모델로 음성으로 바꾸거나 직접 녹음합니다.
5. 자막: 오디오를 음성 인식 모델에 돌려 SRT 파일을 얻고 오류를 고칩니다.
6. 검토: 제품이 실제와 같아 보이는지, 글자 철자가 맞는지 확인하고, 법이나 플랫폼이 요구하는 경우 AI 생성물임을 표시합니다.

단계마다 다른 모델을 쓰지만, 하는 일은 모두 같습니다. 짧은 지시를 학습한 패턴에 맞는 새 콘텐츠로 바꾸는 것입니다. 모델마다 흔히 하는 실수가 다르므로 단계마다 사람의 확인도 필요합니다.

Weak prompt:
mug ad

Stronger prompt:
A white ceramic mug with a thin blue rim on a light oak table,
soft morning window light from the left, steam rising,
shallow depth of field, product photo, no text, no logo.

더 나은 프롬프트는 대상, 재질, 배경, 빛, 그리고 빼야 할 것까지 짚습니다. 생성 모델은 빈틈을 학습 데이터에서 가장 흔한 선택으로 채우기 때문에, 구체적으로 적을수록 모델이 추측할 여지가 줄어듭니다.

생성형 AI가 잘하는 것과 못하는 것

생성형 AI는 초안을 빠르게 만들고, 글을 다른 표현으로 바꾸고, 제공한 긴 자료를 요약하고, 번역하고, 여러 아이디어를 쏟아 내고, 대략의 구상을 그림이나 소리로 바꾸는 데 강합니다.

약한 부분도 예측 가능합니다.

• 사실: 언어 모델은 거짓 정보를 아주 자신 있게 말할 수 있습니다. 이를 환각(hallucination) 또는 작화(confabulation)라고 합니다.
• 개수와 정확한 세부: 손가락 다섯 개, 사과 세 개, 12단어 문장 같은 것은 모델이 근사치로 처리합니다.
• 이미지 속 글자: 간판과 라벨의 철자가 틀리기 쉽습니다. 다만 이 글을 쓰는 시점에는 많이 나아졌습니다.
• 영상의 물리 법칙과 연속성: 물체가 합쳐지거나 사라지거나 불가능한 방식으로 움직일 수 있습니다.
• 최신 정보: 검색에 연결되지 않은 모델은 기준 시점(cutoff)까지의 학습 데이터만 알고 있습니다.
• 드문 언어, 방언, 억양: 학습 데이터가 적은 곳에서는 품질이 떨어집니다.

실용적인 원칙은 간단합니다. 실수를 찾기 쉽고 고치는 비용이 낮은 곳에 생성형 AI를 쓰고, 실수의 대가가 큰 곳에서는 모든 것을 직접 검증하세요.

생성형 AI를 책임 있게 쓰는 법

AI 결과물을 공개하거나 의지하기 전에 확인할 짧은 체크리스트입니다.

1. 사실, 숫자, 인용문, 링크는 1차 출처로 확인합니다.
2. 내가 통제할 수 없는 도구에는 개인정보, 비밀번호, 고객 파일, 신분증을 붙여 넣지 않습니다. 기기에서 직접 모델을 실행하는 브라우저 기반 도구는 파일을 업로드하지 않아도 됩니다.
3. 도구의 상업적 이용 약관을 확인하고, 사용 권한이 없는 실존 인물, 로고, 캐릭터를 프롬프트로 요청하지 않습니다.
4. 법이나 플랫폼이 요구하면 AI가 생성하거나 편집한 미디어임을 표시합니다. 중국, EU, 여러 플랫폼에 이미 표시 규정이 있습니다.
5. 특히 건강, 법률, 금융, 뉴스 분야에서는 최종 결과에 대한 책임을 사람이 집니다.

생성형 AI는 그럴듯한 결과를 예측하는 도구입니다. 초안을 빠르게 써 주는 조수로 대하면 매우 유용하고, 무엇이든 아는 권위자로 대하면 위험합니다.