첫 프레임·마지막 프레임 AI 영상은 어떻게 작동할까?

키프레임 보간이란

애니메이션에서 키프레임은 중요한 순간을 정하는 그림이고, 키프레임 사이를 채우는 프레임을 인비트윈(in-between)이라고 합니다. 첫 프레임·마지막 프레임 영상도 같은 발상입니다. 키프레임 두 장은 내가 그리거나 생성하고, 인비트윈은 모델이 만듭니다.

Google Research의 FILM 같은 고전적인 프레임 보간은 잠깐 간격을 두고 찍은 두 사진 사이를 채웁니다. 픽셀이 어떻게 움직였는지 추정해 그 움직임을 따라 블렌딩하는 방식입니다. 슬로 모션을 부드럽게 만드는 데는 좋지만 새로운 내용을 만들어 내지는 못해서, 변화가 크면 모핑처럼 보입니다.

생성형 보간은 한 걸음 더 나아갑니다. 비디오 확산 모델이 두 이미지를 조건으로 받아, 첫 프레임은 한쪽과 일치하고 마지막 프레임은 다른 쪽과 일치하는 전체 클립을 생성합니다. 2024년 논문 Generative Inbetweening은 이미지 투 비디오 모델을 이 용도로 변형했습니다. 첫 프레임에서 앞으로 한 번, 마지막 프레임에서 뒤로 한 번 생성한 뒤 둘을 합칩니다. Veo, Kling, Runway, Seedance 같은 서비스도 시작 프레임·종료 프레임 옵션으로 같은 아이디어를 제공하며, Google의 Veo 문서는 이를 첫 프레임과 마지막 프레임, 프롬프트를 지정하는 방식으로 설명합니다.

언제 쓰면 좋은가

• 클립이 정확한 포즈, 제품 각도, 구도로 끝나야 할 때. 예를 들어 로고 공개나 제품이 카메라를 향해 돌아서는 장면입니다.
• 샷을 이어 붙일 때. A 샷의 마지막 프레임을 B 샷의 첫 프레임으로 쓰면 컷이 보이지 않습니다.
• 낮에서 밤으로, 닫힌 꽃에서 핀 꽃으로, 빈 접시에서 차려진 요리로 같은 의도된 변신이 필요할 때.
• 도착점이 정해진 카메라 움직임이 필요할 때. 예를 들어 와이드 샷에서 시작해 문 클로즈업으로 끝나는 경우입니다.

클립의 시작만 중요하다면 일반 이미지 투 비디오가 더 간단하고 모델에게 더 많은 자유를 줍니다.

두 프레임 설계하는 법

모델은 몇 초 안에 프레임 A에서 B까지 그럴듯한 경로를 찾아야 합니다. 그 경로를 짧고 분명하게 만드는 것이 내 몫입니다.

1. 두 프레임을 같은 원본에서 만드세요. 프레임 A를 생성한 뒤, 프레임 B는 새 이미지를 처음부터 생성하지 말고 A를 편집(포즈, 표정, 조명 변경)해서 만드세요. 같은 캐릭터, 옷, 배경, 렌즈여야 합니다.
2. 주된 변화는 하나만. 포즈 변화 하나, 카메라 변화 하나, 조명 변화 하나입니다. 두 가지를 동시에 바꾸면 어느 쪽도 아닌 블렌딩이 나오기 쉽습니다.
3. 변화의 크기를 길이에 맞추세요. 고개 돌리기는 몇 초면 충분하지만, 방을 가로질러 걸어가 앉는 동작은 더 긴 클립이나 샷 두 개가 필요합니다.
4. 두 이미지의 화면 비율과 해상도를 같게 하세요. 예를 들어 Google 문서는 두 이미지 모두 16:9 또는 9:16을 사용합니다.
5. 경로가 물리적으로 가능한지 확인하세요. 프레임 A에서 왼손이 올라가 있고 프레임 B에서 주머니에 들어가 있다면, 손이 카메라에 보이는 어딘가를 지나가야 합니다.
6. 변화를 설명하는 프롬프트를 쓰세요. Google의 예시는 쿠키가 놓인 첫 프레임과 쿠키와 우유가 있는 마지막 프레임을 짝지어 주고, 프롬프트에서 둘을 잇는 동작을 설명합니다.

First frame: a woman at a desk, looking down at a laptop, office at dusk.
Last frame: the same woman, same desk, now looking up at the camera, smiling.

Prompt:
She slowly lifts her head from the laptop, notices the camera, and smiles.
Camera static, medium shot. Soft warm desk lamp light. Audio: quiet keyboard
clicks, then silence.

잘 되는 전환과 실패하는 전환

씨앗이 나무가 되거나 한 스타일이 다른 스타일로 바뀌는 것처럼 일부러 모핑을 원할 때는, 실패하는 경로가 오히려 효과가 될 수 있습니다. 프롬프트에 'smooth magical transformation'이라고 적으면 모핑이 의도라는 것을 모델이 알고, 우연히 생긴 모핑보다 대개 더 깔끔하게 나옵니다.

공유 프레임으로 클립 연결하기

첫 프레임·마지막 프레임 도구는 긴 시퀀스의 연속성을 지키는 도구이기도 합니다. 키프레임 목록을 먼저 계획하고, 이웃한 두 키프레임 사이마다 클립을 생성하세요.

클립 2가 클립 1이 끝나는 바로 그 프레임에서 시작하므로 이음새가 매끄럽습니다. 이어지는 부분마다 색과 선명도가 조금씩 달라질 수 있으니 편집에서 색을 맞추고, 컷이 자연스럽게 느껴지도록 움직임 방향을 일정하게 유지하세요.

한계와 해결법

• 느리게 시작해서 급하게 끝남. 모델이 첫 프레임에서 머물다가 마지막 프레임으로 서둘러 가는 일이 있습니다. 'moves steadily over the whole clip'처럼 속도를 묘사하세요.
• 숨은 크로스페이드. 두 프레임이 너무 다르면 모델이 둘 사이를 디졸브로 처리할 수 있습니다. 두 프레임을 더 가깝게 하거나 중간 키프레임을 추가하세요.
• 중간에서 정체성이 변함. 양 끝은 일치하는데 중간에 얼굴이 바뀝니다. 더 가까운 프레이밍, 더 짧은 클립, 같은 원본 이미지에서 만든 프레임을 쓰세요.
• 마지막 프레임이 정확하지 않음. 일부 도구는 마지막 프레임을 절대 규칙이 아니라 강한 힌트로 다룹니다. 필요하면 편집에서 마지막 프레임을 자르거나 정지시키세요.
• 움직이는 글자와 로고. 정지 상태로 두거나 편집에서 넣으세요.