Membangun MEEMES: Pertukaran Karakter vs Pertukaran Wajah

Saya mulai membuat MEEMES karena saya frustrasi. Setiap alat pertukaran wajah yang saya coba berfungsi dengan baik dalam demo - ketika orang dalam meme tampak mirip dengan orang yang ditukar. Namun saat ada ketidakcocokan dalam warna kulit, jenis kelamin, atau struktur wajah? Hasilnya berkisar dari canggung hingga benar-benar meresahkan.

Itu bukan masalah khusus. Itulah kebanyakan orang, pada sebagian besar waktu.

Masalah Tukar Wajah Tradisional

Teknologi pertukaran wajah tradisional melakukan apa yang dikatakannya - ia mengambil wajah dan menempelkannya ke wajah lain. AI mencoba memadukan warna kulit dan mencocokkan pencahayaan, tetapi pada dasarnya terbatas. Ini mencoba membuat wajah Anda sesuai dengan ruang yang dibentuk oleh struktur tulang, warna kulit, dan fitur orang lain.

Ini berfungsi dengan baik ketika pertukaran terjadi antara orang-orang yang berpenampilan serupa. Namun cobalah menukar wajah wanita dengan template meme pria, atau pertukaran apa pun yang warna kulitnya berbeda secara signifikan, dan Anda akan mendapat... masalah. Hal-hal lembah yang luar biasa. Hasil yang pasti tidak ingin Anda bagikan.

Masukkan Pertukaran Karakter

Jadi kami membuat sesuatu yang berbeda. Daripada hanya bertukar wajah, Pertukaran Karakter kami menata ulang keseluruhan karakter. Itu tidak mencoba untuk memadukan wajah Anda ke kepala orang lain - itu menciptakan kembali adegan dengan Anda sebagai karakternya.

Perbedaannya tidak kentara namun sangat besar. Warna kulit Anda tetap warna kulit Anda. Struktur wajah Anda menginformasikan keseluruhan karakter, bukan hanya wajah yang ditempel. Hasilnya sepertinya Anda benar-benar termasuk dalam meme tersebut, karena AI tidak berjuang melawan ketidakcocokan - melainkan berkembang di sekitar Anda.

Kapan Menggunakan Yang Mana

Kami menyimpan kedua opsi tersebut karena masing-masing memiliki tempatnya masing-masing:

Tukar Wajah Statis lebih cepat dan berfungsi dengan baik saat Anda menukar meme yang wajah aslinya mirip dengan Anda - warna kulit mirip, tampilan gender mirip, struktur wajah mirip. Ini juga lebih baik untuk mempertahankan ekspresi persis dari meme aslinya.

Pertukaran Karakter adalah apa yang Anda inginkan ketika ada perbedaan signifikan antara Anda dan template meme. Warna kulit berbeda? Pertukaran karakter. Jenis kelamin berbeda? Pertukaran karakter. Meme aslinya punya bentuk wajah yang sangat berbeda? Pertukaran karakter. Memang butuh waktu lebih lama untuk memprosesnya, tapi hasilnya sepadan.

Mendapatkan Hasil Terbaik

Mode apa pun yang Anda gunakan, ada dua hal yang membuat perbedaan terbesar dalam kualitas keluaran: foto sumber dan meme yang Anda pilih.

Foto Sumber Anda Penting (Banyak)

AI hanya dapat bekerja dengan apa yang Anda berikan. Foto yang buram, gelap, atau tertutup sebagian akan menghasilkan hasil yang buram dan aneh. Inilah yang sebenarnya berhasil:

Hanya kamu di dalam bingkai. Foto grup membingungkan AI tentang wajah mana yang akan digunakan. Meskipun wajah Anda paling besar, wajah lain dalam gambar dapat mengganggu pendeteksian dan pembuatannya. Pangkas atau gunakan foto lain.

Ekspresi netral. Saya tahu, saya tahu - foto tawa Anda bagus sekali. Namun untuk pertukaran wajah, senyuman netral atau sedikit senyuman adalah yang terbaik. Ekspresi ekstrem (mulut terbuka lebar, mata menyipit, dll.) tidak dapat tersampaikan dengan baik karena meme target memiliki ekspresi tersendiri yang perlu diungkapkan.

Tanpa kacamata hitam. Tampaknya ini sudah jelas, tetapi saya mendapatkan cukup banyak email dukungan untuk mengetahui bahwa hal ini tidak benar. AI perlu melihat mata Anda. Kacamata hitam, kacamata ski, headset VR - tidak ada yang berfungsi. Kacamata biasa biasanya baik-baik saja.

Pencahayaan bagus, menghadap ke depan. Cahaya alami atau foto dalam ruangan yang cukup terang. Hadapi kamera. Profil samping bisa berfungsi tetapi Anda membuatnya lebih sulit dari yang seharusnya.

Memilih Templat Meme yang Tepat

Tidak semua meme diciptakan sama untuk pertukaran wajah. Templat yang Anda pilih memengaruhi hasil Anda sama seperti foto sumber Anda.

Resolusi lebih tinggi = hasil lebih baik. Meme garing yang sudah di-screenshot dan diupload ulang sebanyak 47 kali? AI berjuang melawannya. Carilah versi templat yang lebih bersih jika memungkinkan. Tenor biasanya memiliki versi meme populer dengan kualitas yang layak.

Wajah yang jelas dan terlihat adalah yang terbaik. Jika wajah dalam meme itu kecil, sangat buram, dengan sudut yang ekstrem, atau ditutupi cat wajah/stilisasi yang berat, hasilnya akan tidak konsisten. Yang klasik tetap klasik karena suatu alasan - Drake, Pacar yang Terganggu, meme reaksi dengan ekspresi yang jelas.

GIF dengan wajah stabil. Untuk meme animasi, meme yang berfungsi paling baik memiliki posisi wajah yang relatif stabil. Gerakan halus (berkedip, memutar kepala kecil) boleh-boleh saja. Pergerakan kamera yang liar, pemotongan cepat antar sudut, atau deformasi wajah yang ekstrem akan menghasilkan hasil yang lebih kasar.

Apa Selanjutnya

Kami masih aktif membangun. Model pertukaran karakter menjadi lebih baik di setiap iterasi, dan kami berupaya membuat pemrosesan lebih cepat tanpa mengorbankan kualitas. Ada juga beberapa hal menarik seputar pertukaran karakter animasi - mengambil pendekatan konsep ulang tetapi untuk GIF.

Jika Anda punya masukan atau masalah, beri tahu saya. Semua ini dimulai karena alat yang ada tidak berfungsi untuk semua orang. Memastikan MEEMES benar-benar berfungsi untuk semua orang adalah intinya.