Bagaimana cara kerja text-to-image AI, dan cara memakainya dengan baik?

Apa yang terjadi antara prompt dan gambar

Kebanyakan sistem text-to-image punya tiga bagian. Text encoder mengubah prompt menjadi daftar angka yang menangkap maknanya. Generator gambar membuat gambar yang dikondisikan pada angka-angka itu. Dekoder mengubah representasi internal generator menjadi piksel sungguhan.

Jenis generator yang paling umum saat artikel ini ditulis adalah model difusi (diffusion model). Modelnya mulai dari noise acak murni dan, lewat serangkaian langkah, memprediksi dan membuang sedikit noise setiap kali, dipandu oleh teks. Latent diffusion model, keluarga di balik Stable Diffusion, melakukannya di ruang terkompresi, bukan pada piksel ukuran penuh, sehingga jauh lebih murah dijalankan. Sistem lain bersifat autoregresif: menghasilkan gambar sebagai urutan token, satu demi satu, mirip model bahasa menulis kata. Janus-Pro, misalnya, bekerja dengan cara ini. Kedua jenis menerima masukan yang sama darimu, jadi alur kerja di bawah berlaku untuk keduanya.

1. Promptmu dipecah menjadi token dan di-encode.
2. Titik awal acak dibuat dari seed.
3. Generator menyempurnakan titik awal itu selama sejumlah steps, tiap langkah ditarik ke arah prompt.
4. Dekoder menghasilkan gambar akhir pada ukuran yang dipilih.

Pengaturan yang penting

Nama pengaturan berbeda antaralat, dan banyak layanan hosted menyembunyikan sebagian. Kalau terlihat, inilah yang layak dipelajari.

Guidance bekerja dengan membandingkan dua prediksi di setiap langkah, satu dengan promptmu dan satu tanpa, lalu mendorong hasil lebih jauh ke arah selisihnya. Itu sebabnya skalanya terasa seperti dial kekuatan prompt, dan mengapa menyetelnya terlalu tinggi melebih-lebihkan segalanya.

Alur kerja dari ide sampai gambar akhir

1. Tulis brief dalam satu kalimat: untuk apa gambarnya, bentuknya (postingan persegi, banner 16:9, wallpaper ponsel 9:16), dan satu hal yang wajib ditampilkan.
2. Susun prompt berisi subjek, aksi, latar, gaya, cahaya, dan framing.
3. Buat batch empat sampai delapan gambar kecil dengan seed acak. Perhatikan komposisi, bukan detail.
4. Pilih yang terbaik dan catat seed-nya. Kunci seed itu mulai sekarang.
5. Ubah satu hal pada satu waktu di prompt (cahaya, lensa, warna) dan bandingkan. Dengan seed terkunci, perbedaan berasal dari kata-katamu.
6. Setelah komposisi tepat, perbaiki masalah lokal dengan inpainting atau image-to-image, jangan generate ulang dari awal.
7. Upscale gambar akhir ke ukuran yang dibutuhkan, lalu periksa wajah, tangan, dan teks pada ukuran penuh.
8. Catat prompt, seed, model, dan pengaturan di samping file agar kamu bisa membuat variasi nanti.

Ini contoh kecil untuk langkah 5. Seed tetap sama; hanya frasa pencahayaan yang berubah antarproses.

seed 1234
A: a lighthouse on a rocky coast, wide shot, overcast soft light
B: a lighthouse on a rocky coast, wide shot, golden hour, warm rim light
C: a lighthouse on a rocky coast, wide shot, blue hour, lamp glowing

Karena noise awalnya sama, A, B, dan C mempertahankan tata letak yang mirip, sehingga kamu bisa menilai pencahayaannya saja. Dengan seed baru setiap kali, yang kamu bandingkan adalah komposisi yang berbeda-beda.

Memilih ukuran dan resolusi

Setiap model dilatih di sekitar ukuran tertentu. Model Stable Diffusion awal dilatih terutama pada 512 x 512 piksel; yang lebih baru dilatih di sekitar 1024 x 1024 dan beberapa rasio aspek. Meminta gambar yang jauh lebih besar dari ukuran pelatihan sering menghasilkan subjek berulang, seperti dua kepala atau horizon ganda, karena model mengisi ruang tambahan dengan lebih banyak hal yang ia kenal.

Pola yang lebih aman adalah membuat gambar pada ukuran bawaan lalu memperbesarnya dengan AI upscaler. Misalnya, generator gambar AI cv.cm membuat gambar 384 piksel di GPU-mu sendiri dengan model autoregresif, lalu bisa memperbesarnya 2x atau 4x dengan Real-ESRGAN. Upscaler mempertajam tepi dan tekstur, tetapi tidak bisa menambah objek atau memperbaiki komposisi yang buruk, jadi pastikan tata letaknya benar lebih dulu.

Kelemahan text-to-image yang masih ada

• Teks di dalam gambar. Huruf bisa salah eja atau karangan, terutama pada frasa panjang dan aksara non-Latin. Tambahkan teks di editor kalau harus benar.
• Tangan dan hitungan. Jari berlebih atau menyatu sudah lebih jarang daripada dulu, tetapi masih muncul. Jumlah pasti (tujuh burung) dan hubungan ruang (di kiri, di belakang) sering salah.
• Beberapa orang yang berbeda. Detail satu orang bocor ke orang lain. Bangun adegan secara bertahap atau pakai gambar referensi.
• Karakter yang sama dua kali. Proses baru berarti orang baru, kecuali kamu memakai gambar referensi, deskriptor tetap, atau fine-tuning. Lihat panduan karakter yang konsisten.
• Bias ke tampilan umum. Tanpa detail, model kembali ke wajah, tempat, dan gaya yang paling sering ada di data pelatihannya. Sebutkan dengan jelas usia, daerah, bentuk tubuh, dan latar.
• Orang nyata, merek, dan logo. Banyak layanan memblokirnya, dan memakainya bisa menimbulkan risiko hukum meski alatnya mengizinkan.

Layanan hosted atau model lokal?

Alat hosted seperti Midjourney, GPT image, Imagen, atau layanan Stable Diffusion dan FLUX online mudah dimulai dan menjalankan model besar, tetapi promptmu dikirim ke server dan kamu mengikuti aturan konten serta ketentuannya. Alat lokal menjalankan model di GPU-mu sendiri: tidak ada yang keluar dari perangkatmu, dan semua pengaturan terlihat, tetapi modelnya harus muat di memori dan biasanya lebih kecil.