Làm sao giữ nhân vật AI nhất quán qua nhiều ảnh?

Vì sao nhân vật bị trôi

Mô hình ảnh không có trí nhớ giữa các lần chạy. Mỗi lần tạo bắt đầu từ nhiễu ngẫu nhiên mới và đọc prompt của bạn từ đầu. Những từ như a young woman with short black hair mô tả hàng triệu khuôn mặt khả dĩ, và mô hình chọn một khuôn mặt khác nhau mỗi lần. Thay đổi nhỏ trong cách diễn đạt, tư thế hay góc máy đều đẩy kết quả đi xa hơn.

Vì vậy sự nhất quán không đến từ việc mô hình nhớ. Nó đến từ việc bạn đưa cho mô hình cùng một thông tin mỗi lần, dưới nhiều dạng nhất mà công cụ chấp nhận: cùng chữ, cùng ảnh tham chiếu và, với dự án lớn, một mô-đun nhỏ được huấn luyện đã học được nhân vật. Các phương pháp dưới đây đi từ rẻ nhất đến tốn công nhất. Phần lớn dự án kết hợp hai hoặc ba cách.

Bước 1: viết một khối mô tả nhân vật cố định

Hãy viết mô tả một lần, lưu trong tệp văn bản và dán nguyên vẹn vào mọi prompt. Sắp xếp chi tiết từ dễ thấy nhất đến ít thấy nhất, và chỉ đưa vào những gì người xem nhìn thấy được.

MEI (character block, paste unchanged)
adult woman in her late 20s, East Asian, oval face, straight black hair
in a chin-length bob with blunt bangs, dark brown eyes, small mole under
the left eye, slim build, wearing a mustard-yellow raincoat over a white
T-shirt, dark blue jeans, white sneakers, round silver earrings

Sau đó dựng mỗi prompt bằng khối nhân vật cộng với cảnh. Chỉ phần cảnh thay đổi:

[MEI block], standing at a bus stop in the rain, holding a clear umbrella,
night, neon reflections on the wet road, medium shot, 35mm photo

• Chọn các điểm neo dễ nhận: một màu khác thường, một phụ kiện, một dấu trên mặt. Mustard raincoat và mole under the left eye dễ kiểm tra và tái tạo hơn pretty.
• Tránh những từ đổi nghĩa giữa các lần chạy, như stylish outfit hay cute.
• Để từ về phong cách bên ngoài khối mô tả, để bạn có thể đổi cảnh từ ảnh chụp sang minh họa mà không phải sửa nhân vật.
• Hãy đặt tên cho nhân vật trong ghi chú, nhưng đừng dựa vào cái tên trong prompt; một cái tên tự đặt chẳng có nghĩa gì với mô hình trừ khi bạn huấn luyện nó.

Bước 2: làm character sheet

Character sheet là một ảnh, hoặc một bộ nhỏ, cho thấy nhân vật rõ ràng từ nhiều góc trên nền trơn. Nó trở thành ảnh tham chiếu để bạn quay lại cho mọi cảnh về sau.

1. Tạo nhiều ứng viên từ khối nhân vật trên nền xám nhạt trơn, ánh sáng trung tính, toàn thân.
2. Chọn khuôn mặt bạn thích nhất. Đây giờ là khuôn mặt chuẩn; đừng tiếp tục khám phá nữa.
3. Tạo các góc nhìn xoay quanh của nhân vật đó: chính diện, ba phần tư, bên hông và phía sau. Dùng ảnh đã chọn làm tham chiếu, hoặc dùng điều khiển tư thế cho mỗi góc.
4. Thêm một hàng biểu cảm (trung tính, mỉm cười, ngạc nhiên, giận dữ) và một cận cảnh khuôn mặt cùng phụ kiện.
5. Sửa lỗi bằng inpainting, rồi lưu sheet ở độ phân giải đầy đủ cùng khối mô tả nhân vật viết bên cạnh.

character turnaround sheet of [MEI block], front view, three-quarter view,
side view and back view, full body, standing in a neutral pose,
plain light gray background, even soft studio light, clean illustration

Hãy giữ sheet sạch sẽ. Hậu cảnh lộn xộn hoặc ánh sáng kịch tính trên ảnh tham chiếu sẽ bị sao chép sang các ảnh sau cùng với khuôn mặt.

Bước 3: dùng ảnh tham chiếu trong mọi lần tạo

Hầu hết công cụ hiện nay chấp nhận ít nhất một ảnh làm tham chiếu. Công cụ trực tuyến gọi nó là character reference, subject reference hoặc đơn giản là ảnh tải lên; quy trình mã nguồn mở dùng các adapter như IP-Adapter, biến ảnh tham chiếu thành đặc trưng dẫn hướng mô hình cùng với văn bản. Hãy đưa cho mô hình cận cảnh khuôn mặt và một góc toàn thân từ sheet, rồi mô tả cảnh mới bằng văn bản.

• Dùng đoạn cắt khớp với cảnh quay: ảnh tham chiếu khuôn mặt cho cận cảnh, ảnh tham chiếu toàn thân cho cảnh rộng.
• Giảm trọng số tham chiếu nếu mọi ảnh đều sao chép tư thế và hậu cảnh của tham chiếu; tăng lên nếu khuôn mặt bị trôi.
• Đừng nối tham chiếu từ ảnh vừa tạo xong. Lỗi sẽ cộng dồn. Luôn quay về sheet đã duyệt.
• Với tư thế phải khớp chính xác, hãy thêm cả ảnh điều khiển tư thế. Xem hướng dẫn image-to-image.

Seed: hữu ích nhưng có giới hạn

Seed cố định nhiễu khởi đầu ngẫu nhiên. Với cùng mô hình, cài đặt và prompt, cùng một seed cho ảnh gần như giống hệt, nên seed rất tốt để tạo các biến thể nhỏ của một cảnh: đổi biểu cảm hoặc ánh sáng và giữ nguyên mọi thứ khác.

Seed không giữ được nhân vật qua các cảnh khác nhau. Đổi tư thế, hậu cảnh hay khung hình, cùng seed sẽ cho bố cục khác và thường là khuôn mặt khác. Nó cũng ngừng có tác dụng khi bạn đổi mô hình, phiên bản công cụ, phần cứng hay sampler. Hãy coi seed là cách lặp lại một bức ảnh, không phải danh tính của nhân vật.

Bước 4 cho dự án dài: LoRA và tinh chỉnh

Với truyện tranh, một loạt hay linh vật thương hiệu xuất hiện trong hàng trăm ảnh, lựa chọn mạnh nhất là dạy mô hình về nhân vật. Có ba phương pháp phổ biến trong công cụ mã nguồn mở:

Dữ liệu huấn luyện quan trọng hơn cài đặt. Hãy dùng ảnh cùng một nhân vật từ sheet và các cảnh đã duyệt, với góc, biểu cảm, ánh sáng và hậu cảnh đa dạng, và chú thích từng ảnh. Nếu mọi ảnh huấn luyện có cùng hậu cảnh hoặc tư thế, LoRA cũng học luôn những thứ đó. Các dịch vụ trực tuyến cung cấp nhân vật tùy chỉnh cũng làm điều tương tự ở phía sau.

Danh sách kiểm tra tính liền mạch

Trước khi đưa ảnh mới vào dự án, hãy đặt cạnh character sheet để so sánh. Sửa hoặc tạo lại bất cứ thứ gì không đạt.

Hãy ghi một nhật ký đơn giản cho mỗi cảnh: prompt, seed, tham chiếu đã dùng, mô hình và các chỉnh sửa đã làm. Khi nhân vật bị trôi về sau, nhật ký cho bạn biết thay đổi nào gây ra. Với video, các quy tắc tương tự áp dụng từng cảnh một; hướng dẫn video nhiều cảnh nói về cách mang nhân vật qua chuyển động.