AI 영상 프롬프트는 어떻게 써야 할까?

영상 프롬프트가 이미지 프롬프트와 다른 이유

이미지 프롬프트는 한 순간을 묘사하지만, 영상 프롬프트는 시간에 따른 변화를 묘사합니다. 무엇이 어느 방향으로 얼마나 빠르게 움직이는지, 그동안 카메라는 무엇을 하는지를 모델이 결정해야 합니다. 프롬프트에 없으면 모델이 추측하는데, 대개 느리고 흐릿하게 흘러가거나 여러 동작이 하나로 뭉개진 결과가 나옵니다.

텍스트-투-비디오(text-to-video) 모델은 짧은 클립의 모든 프레임을 한꺼번에 만들기 때문에, 첫 프레임뿐 아니라 클립 전체를 텍스트로 설명해야 합니다. 그래서 영상 프롬프트에서 가장 쓸모 있는 단어는 동사와 타이밍 표현입니다. 걷는다, 돌아본다, 멈춘다, 든다, 2초 동안, 그런 다음 같은 말이죠. 겉모습을 묘사하는 형용사도 필요하지만 두 번째 층위입니다.

영상 모델 제작사의 공식 가이드도 표현만 다를 뿐 같은 말을 합니다. OpenAI의 Sora 프롬프트 가이드는 프롬프트를 계약서가 아니라 소원 목록에 비유합니다. 같은 프롬프트도 매번 결과가 다르니, 원하는 결과가 나올 확률을 높이도록 쓰고 반복해서 다듬으라는 뜻입니다.

7단계 구성

아래 순서로 적어 보세요. 일곱 가지를 모두 쓸 필요는 없지만, 하나씩 확인하면 모델이 멋대로 채워 넣을 빈틈을 막을 수 있습니다.

많은 도구는 길이, 해상도, 화면 비율을 텍스트가 아니라 설정값으로 받습니다. OpenAI 가이드도 이런 기술 파라미터는 문장이 아니라 API 호출이나 인터페이스에서 지정하라고 안내합니다. 도구 문서에서 모델이 텍스트로 읽는다고 밝힌 경우에만 프롬프트에 넣으세요.

샷마다 동작 하나, 카메라 움직임 하나

영상 프롬프트가 실패하는 가장 흔한 이유는 너무 많은 것을 요구하는 것입니다. '그녀가 들어와서 전화를 받고 웃다가 달려 나가고, 카메라가 그녀 주위를 돈다'는 5초 안팎의 클립에 동작 네 개와 복잡한 카메라 워크를 넣은 셈입니다. 모델은 보통 이를 압축하거나 일부를 건너뛰거나 한 동작을 다른 동작으로 변형시켜 버립니다.

OpenAI의 Sora 가이드는 샷을 단순하게, 즉 카메라 움직임 하나와 피사체 동작 하나로 유지하라고 권합니다. 이야기에 동작이 네 개 필요하면 샷 네 개를 쓰고 편집에서 이어 붙이세요. 짧은 클립일수록 지시를 더 잘 따르기 때문에, 짧은 샷 두 개가 긴 샷 하나보다 나은 경우가 많습니다.

• 샷의 중심이 되는 동작 하나를 고르세요. 화면의 나머지는 바람에 날리는 머리카락, 김, 멀리 지나가는 차량처럼 작은 배경 움직임으로 둡니다.
• 카메라 움직임은 하나만 고르거나 static shot이라고 쓰세요. 오빗에 줌과 틸트를 섞지 마세요.
• 동작이 어디서 끝나는지 적으세요. 'Stops at the window'는 모델에게 끝 상태를 주지만, 'walks'만 쓰면 동작이 끝나지 않을 수 있습니다.
• 속도는 쉬운 말로 적으세요. 천천히, 한 번에 빠르게, 3초에 걸쳐 같은 식입니다.

타임라인과 비트 단위 프롬프트

한 샷 안에 짧은 연속 동작이 있다면 비트로 나눠 쓰세요. 비트는 대략의 시간이 붙은 작은 동작 단위입니다. OpenAI 가이드는 'walks over'보다 'takes four steps to the window, pauses'처럼 걸음 수나 비트를 세어 적으라고 제안합니다. 구체적인 숫자가 모델이 따르기 더 쉽기 때문입니다.

도구에 따라 시간 구간을 명시하면 잘 따르는 것도 있고, 정확한 초는 무시하되 순서는 지키는 것도 있습니다. 어느 쪽이든 타임라인을 쓰면 사건의 순서가 분명해집니다.

8 seconds, 16:9, static camera, medium-wide shot.
A small cafe counter at morning, soft window light from the left.

0-2s: A barista in a green apron sets a white cup on the counter.
2-5s: She pours steamed milk in one slow motion; a leaf pattern forms.
5-8s: She slides the cup forward and smiles at the customer off screen.

Audio: espresso machine hiss, quiet cafe chatter, a cup touching a saucer.

비트는 짧고 물리적으로 쓰세요. '그녀는 행복하다'는 비트가 아니고, '그녀가 미소 짓고 어깨를 내린다'는 비트입니다. 마지막 비트는 정지된 순간으로 남겨 두면 클립이 동작 중간에 끝나지 않아 편집하기 좋습니다.

약한 프롬프트를 강하게 고치기

다음은 전형적인 첫 시도입니다. 분위기와 피사체는 있지만 동작, 카메라, 빛, 소리는 모두 운에 맡기고 있습니다.

A cinematic video of a samurai in the rain, epic, 4K, masterpiece.

문제점은 이렇습니다. 'cinematic', 'epic', 'masterpiece'는 카메라가 볼 수 있는 어떤 것도 묘사하지 않습니다. 동작이 없으니 모델은 서 있는 인물 위를 천천히 훑는 팬을 만들거나, 칼이 녹아내리는 싸움을 만들 수도 있습니다. 카메라 지시도 오디오도 없고, '4K'는 프롬프트 단어가 아니라 설정값입니다.

Medium shot, low angle, slow push-in.
A lone samurai in a dark blue kimono stands in a muddy village street at night.
Heavy rain. A single paper lantern behind him gives warm orange rim light;
the rest of the scene is cool blue.

Action: he slowly draws his sword over three seconds, then holds it still
at chest height. Rain drips from the blade.

Style: live-action, shallow depth of field, film grain, desaturated colors.
Audio: steady rain, the metal sound of the blade leaving the scabbard, distant thunder.

이제 모든 줄이 모델이 추측했을 질문에 답합니다. 누가, 무엇을, 얼마나, 어디서 본 모습으로, 어떤 조명에서, 어떤 스타일로, 어떤 소리와 함께 하는지입니다. 고친 프롬프트는 더 길지만 군더더기가 아닙니다. 모든 구절이 화면을 바꿉니다.

오디오와 대사 쓰기

영상과 함께 소리를 생성하는 모델은 프롬프트에서 오디오를 읽습니다. Google의 Veo 가이드는 오디오를 원한다고 분명히 밝히고, 주변 소리, 효과음, 대사를 각각 별도의 문장으로 묘사하라고 권합니다.

• 주변음: 바람, 인파, 교통, 새소리처럼 공간의 기본 소리.
• 효과음: 자갈 위 발소리, 문 닫히는 소리처럼 동작에 붙는 소리.
• 대사: 정확한 대사를 따옴표 안에 넣고 누가 말하는지 적으세요. 짧게 쓰세요. 4초 안팎의 클립에는 짧은 대사 한두 줄이 들어갑니다.
• 음악: 편집에서 직접 음악을 넣을 계획이라면 'no music'이라고 쓰세요. 생성된 음악은 자르기 어렵습니다.

이 글을 쓰는 시점에는 립싱크와 정확한 대사 표현이 여전히 약점입니다. 대사가 완벽해야 한다면 대사 없이 샷을 생성하고, 편집에서 녹음한 목소리나 TTS(text-to-speech) 음성을 얹으세요.

흔한 실수와 해결법

물리 법칙도 정직하게 인정해야 할 한계입니다. 액체, 충돌, 물건을 쥔 손, 군중은 자주 깨집니다. 이런 동작은 단순하게 두고, 가능하면 손을 일부 화면 밖에 두고, 여러 테이크를 생성해서 고르세요.