Aufbau von MEEMES: Charaktertausch vs. Gesichtstausch

Ich habe mit dem Aufbau von MEEMES begonnen, weil ich frustriert war. Jedes Face-Swap-Tool, das ich ausprobiert habe, hat in Demos großartig funktioniert – wenn die Person im Meme der Person, in die getauscht wurde, ähnlich sah. Aber in dem Moment gab es eine Diskrepanz im Hautton, Geschlecht oder der Gesichtsstruktur? Die Ergebnisse reichten von unangenehm bis wirklich beunruhigend.

Das ist kein Nischenproblem. Das trifft meistens auf die meisten Menschen zu.

Das Problem mit dem herkömmlichen Face-Swap

Die traditionelle Face-Swap-Technologie macht genau das, was sie verspricht: Sie nimmt ein Gesicht und fügt es auf ein anderes Gesicht ein. Die KI versucht, Hauttöne zu mischen und an die Beleuchtung anzupassen, ist aber grundsätzlich eingeschränkt. Es geht darum, Ihr Gesicht in einen Raum einzupassen, der durch die Knochenstruktur, Hautfarbe und Gesichtszüge einer anderen Person geformt wurde.

Das funktioniert gut, wenn der Austausch zwischen ähnlich aussehenden Personen erfolgt. Aber versuchen Sie, das Gesicht einer Frau auf eine männliche Meme-Vorlage auszutauschen, oder auf einen beliebigen Austausch, bei dem es einen deutlichen Unterschied im Hautton gibt, und Sie bekommen ... Probleme. Uncanny Valley-Zeug. Die Art von Ergebnissen, die Sie auf keinen Fall teilen möchten.

Zeichenwechsel eingeben

Also haben wir etwas anderes gebaut. Anstatt nur Gesichter zu tauschen, stellt unser Charaktertausch den gesamten Charakter neu dar. Es wird nicht versucht, Ihr Gesicht mit dem Kopf einer anderen Person zu verschmelzen – es regeneriert die Szene mit Ihnen als Charakter.

Der Unterschied ist subtil, aber gewaltig. Ihr Hautton bleibt Ihr Hautton. Ihre Gesichtsstruktur prägt den gesamten Charakter, nicht nur ein aufgeklebtes Gesicht. Das Ergebnis sieht so aus, als ob Sie tatsächlich zu diesem Meme gehören, denn die KI kämpft nicht gegen eine Nichtübereinstimmung – sie baut sich um Sie herum auf.

Wann welche zu verwenden ist

Wir haben beide Optionen beibehalten, weil jede ihre Berechtigung hat:

Statischer Gesichtswechsel ist schneller und funktioniert hervorragend, wenn Sie zu einem Meme wechseln, dessen ursprüngliches Gesicht Ihrem ähnelt – ähnlicher Hautton, ähnliche Darstellung des Geschlechts, ähnliche Gesichtsstruktur. Es ist auch besser, um exakte Ausdrücke aus dem ursprünglichen Meme beizubehalten.

Charaktertausch ist das, was Sie wollen, wenn es einen signifikanten Unterschied zwischen Ihnen und der Meme-Vorlage gibt. Anderer Hautton? Charaktertausch. Anderes Geschlecht? Charaktertausch. Das Original-Meme hat eine ganz andere Gesichtsform? Charaktertausch. Die Verarbeitung dauert etwas länger, aber die Ergebnisse sind es wert.

Die besten Ergebnisse erzielen

Welchen Modus Sie auch verwenden, es gibt zwei Dinge, die den größten Unterschied in der Ausgabequalität machen: Ihr Quellfoto und das Meme, das Sie auswählen.

Ihr Quellfoto ist wichtig (sehr)

Die KI kann nur mit dem arbeiten, was Sie ihr geben. Ein verschwommenes, dunkles oder teilweise verdecktes Foto führt zu verschwommenen, seltsamen Ergebnissen. Folgendes funktioniert tatsächlich:

Nur du im Bild. Gruppenfotos verwirren die KI darüber, welches Gesicht sie verwenden soll. Auch wenn Ihr Gesicht das größte ist, können andere Gesichter im Bild die Erkennung und Generierung beeinträchtigen. Schneiden Sie sie aus oder verwenden Sie ein anderes Foto.

Neutraler Ausdruck. Ich weiß, ich weiß – dein lachendes Foto ist großartig. Aber beim Gesichtswechsel funktioniert ein neutrales oder leichtes Lächeln am besten. Extreme Ausdrücke (weit geöffneter Mund, schielende Augen usw.) lassen sich nicht gut übertragen, da das Zielmem seinen eigenen Ausdruck hat, der durchdringen muss.

Keine Sonnenbrille. Das scheint offensichtlich, aber ich bekomme genügend Support-E-Mails, um zu wissen, dass das nicht der Fall ist. Die KI muss Ihre Augen sehen. Sonnenbrillen, Skibrillen, VR-Headsets – nichts davon funktioniert. Normale Brillen sind normalerweise in Ordnung.

Gute Beleuchtung, nach vorne gerichtet. Natürliches Licht oder gut beleuchtete Innenaufnahmen. Stelle dich der Kamera. Seitenprofile können funktionieren, aber Sie machen es schwieriger als nötig.

Auswahl der richtigen Meme-Vorlage

Nicht alle Memes sind für den Gesichtsaustausch geeignet. Die von Ihnen gewählte Vorlage wirkt sich genauso stark auf Ihre Ergebnisse aus wie Ihr Quellfoto.

Höhere Auflösung = bessere Ergebnisse. Dieses knusprige, frittierte Meme, das 47 Mal als Screenshot erstellt und erneut hochgeladen wurde? Die KI hat damit zu kämpfen. Suchen Sie nach Möglichkeit nach saubereren Vorlagenversionen. Tenor hat normalerweise qualitativ hochwertige Versionen beliebter Memes.

Klare, sichtbare Gesichter funktionieren am besten. Wenn das Gesicht im Meme winzig ist, stark verdeckt ist, in einem extremen Winkel steht oder mit Gesichtsbemalung/starker Stilisierung bedeckt ist, werden die Ergebnisse inkonsistent sein. Die Klassiker sind nicht ohne Grund Klassiker – Drake, Distracted Boyfriend, Reaktionsmemes mit klaren Ausdrücken.

GIFs mit stabilen Gesichtern. Bei animierten Memes funktionieren diejenigen am besten, die eine relativ stabile Gesichtspositionierung haben. Subtile Bewegungen (Blinzeln, kleine Kopfdrehungen) sind in Ordnung. Wilde Kamerabewegungen, schnelle Winkelwechsel oder extreme Gesichtsverformungen führen zu raueren Ergebnissen.

Was kommt als nächstes?

Wir bauen immer noch aktiv. Das Charaktertauschmodell wird mit jeder Iteration besser und wir arbeiten daran, die Verarbeitung schneller zu machen, ohne dass die Qualität darunter leidet. Es gibt auch einige interessante Dinge im Zusammenhang mit dem Austausch von animierten Charakteren – mit dem Neuinterpretationsansatz, aber für GIFs.

Wenn Sie Feedback oder Probleme haben, lassen Sie es mich wissen. Die ganze Sache begann damit, dass bestehende Tools nicht für jeden funktionierten. Der springende Punkt ist, sicherzustellen, dass MEEMES tatsächlich für alle funktioniert.