Costruire MEEMES: scambio di personaggi e scambio di volti

Ho iniziato a creare MEEMES perché ero frustrato. Ogni strumento di scambio volto che ho provato ha funzionato benissimo nelle demo, quando la persona nel meme sembrava simile alla persona scambiata. Ma nel momento in cui si è verificata una discrepanza nel tono della pelle, nel sesso o nella struttura del viso? I risultati variavano da imbarazzanti a veramente inquietanti.

Non è un problema di nicchia. Questa è la maggior parte delle persone, la maggior parte delle volte.

Il problema con il tradizionale scambio di volti

La tradizionale tecnologia di scambio dei volti fa esattamente quello che dice: prende un volto e lo incolla su un altro volto. L'intelligenza artificiale cerca di fondere i toni della pelle e abbinare l'illuminazione, ma è fondamentalmente limitata. Significa cercare di adattare il tuo viso a uno spazio modellato dalla struttura ossea, dal colore della pelle e dai lineamenti di qualcun altro.

Funziona bene quando lo scambio avviene tra persone dall'aspetto simile. Ma prova a scambiare il volto di una donna con un modello di meme maschile, o qualsiasi scambio in cui c'è una differenza significativa nel tono della pelle, e otterrai... problemi. Roba da valle misteriosa. Il tipo di risultati che sicuramente non vuoi condividere.

Immettere lo scambio di caratteri

Quindi abbiamo costruito qualcosa di diverso. Invece di limitarsi a scambiare i volti, il nostro scambio di personaggi reinventa l'intero personaggio. Non cerca di fondere il tuo viso con la testa di qualcun altro: rigenera la scena con te come personaggio.

La differenza è sottile ma enorme. Il tono della tua pelle rimane il tono della tua pelle. La tua struttura facciale informa l'intero personaggio, non solo una faccia incollata. Il risultato sembra che tu appartenga davvero a quel meme, perché l'intelligenza artificiale non sta combattendo contro una discrepanza: si sta costruendo intorno a te.

Quando utilizzare quale

Abbiamo mantenuto entrambe le opzioni perché ognuna ha il suo posto:

Scambio volto statico è più veloce e funziona benissimo quando passi a un meme in cui il volto originale è simile al tuo: tonalità della pelle simile, presentazione di genere simile, struttura facciale simile. È anche meglio preservare le espressioni esatte del meme originale.

Scambio di caratteri è ciò che desideri quando c'è una differenza significativa tra te e il modello del meme. Tonalità della pelle diversa? Scambio di caratteri. Genere diverso? Scambio di caratteri. Il meme originale ha una forma del viso completamente diversa? Scambio di caratteri. Ci vuole un po' più di tempo per l'elaborazione, ma ne vale la pena.

Ottenere i migliori risultati

Qualunque sia la modalità utilizzata, ci sono due cose che fanno la differenza più grande nella qualità dell'output: la foto sorgente e il meme scelto.

La tua foto originale è importante (molto)

L'intelligenza artificiale può funzionare solo con ciò che le dai. Una foto sfocata, scura o parzialmente oscurata produrrà risultati sfocati e strani. Ecco cosa funziona realmente:

Solo tu nell'inquadratura. Le foto di gruppo confondono l'intelligenza artificiale su quale volto utilizzare. Anche se il tuo volto è il più grande, altri volti nell'immagine possono interferire con il rilevamento e la generazione. Ritagliali o usa una foto diversa.

Espressione neutra. Lo so, lo so: la tua foto mentre ride è fantastica. Ma per lo scambio di volti, un sorriso neutro o lieve funziona meglio. Le espressioni estreme (bocca spalancata, occhi socchiusi, ecc.) non si trasferiscono bene perché il meme bersaglio ha una propria espressione che deve emergere.

Niente occhiali da sole. Sembra ovvio, ma ricevo abbastanza e-mail di supporto per sapere che non lo è. L'intelligenza artificiale ha bisogno di vedere i tuoi occhi. Occhiali da sole, maschere da sci, visori VR: nessuno di questi funziona. Gli occhiali normali di solito vanno bene.

Buona illuminazione, frontale. Luce naturale o foto di interni ben illuminati. Affronta la telecamera. I profili laterali possono funzionare ma lo stai rendendo più difficile del necessario.

Scegliere il modello di meme giusto

Non tutti i meme sono uguali per lo scambio di volti. Il modello che scegli influisce sui risultati tanto quanto la foto sorgente.

Risoluzione più alta = risultati migliori. Quel meme croccante e fritto che è stato screenshottato e ricaricato 47 volte? L'intelligenza artificiale lotta con questo. Cerca versioni più pulite dei modelli quando possibile. Tenor di solito ha versioni di qualità decente di meme popolari.

I volti chiari e visibili funzionano meglio. Se il volto nel meme è minuscolo, fortemente oscurato, con un'angolazione estrema o coperto di pittura per il viso/stilizzazione pesante, i risultati saranno incoerenti. I classici sono classici per una ragione: Drake, Distracted Boyfriend, meme di reazione con espressioni chiare.

GIF con volti stabili. Per i meme animati, quelli che funzionano meglio hanno un posizionamento del viso relativamente stabile. I movimenti sottili (ammiccamenti, piccole rotazioni della testa) vanno bene. Movimenti selvaggi della telecamera, tagli rapidi tra gli angoli o deformazioni estreme del viso produrranno risultati più grezzi.

Cosa verrà dopo

Stiamo ancora costruendo attivamente. Il modello di scambio dei personaggi migliora ad ogni iterazione e stiamo lavorando per rendere l'elaborazione più veloce senza sacrificare la qualità. Ci sono anche alcune cose interessanti in arrivo riguardo allo scambio di personaggi animati: adottando l'approccio rivisitato ma per le GIF.

Se hai feedback o problemi riscontrati, faccelo sapere. Tutto è iniziato perché gli strumenti esistenti non funzionavano per tutti. Il punto centrale è assicurarsi che MEEMES funzioni effettivamente per tutti.