Création de MEEMES : échange de personnages ou échange de visages

J'ai commencé à créer MEEMES parce que j'étais frustré. Tous les outils d'échange de visage que j'ai essayés ont très bien fonctionné dans les démos - lorsque la personne dans le mème ressemblait à la personne échangée. Mais à partir du moment où il y a eu une inadéquation dans le teint, le sexe ou la structure du visage ? Les résultats allaient de gênants à véritablement troublants.

Ce n'est pas un problème de niche. C'est le cas de la plupart des gens, la plupart du temps.

Le problème de l'échange de visage traditionnel

La technologie traditionnelle d'échange de visage fait exactement ce qu'elle dit : elle prend un visage et le colle sur un autre visage. L'IA essaie de mélanger les tons chair et de faire correspondre l'éclairage, mais elle est fondamentalement limitée. Il s'agit d'essayer d'adapter votre visage à un espace qui a été façonné par la structure osseuse, la couleur de la peau et les caractéristiques de quelqu'un d'autre.

Cela fonctionne bien lorsque l'échange a lieu entre des personnes d'apparence similaire. Mais essayez d'échanger le visage d'une femme sur un modèle de mème masculin, ou tout autre échange où il y a une différence significative de teint, et vous obtenez... des problèmes. Des trucs étranges dans la vallée. Le genre de résultats que vous ne voulez certainement pas partager.

Entrer l'échange de caractères

Nous avons donc construit quelque chose de différent. Au lieu de simplement échanger des visages, notre échange de personnage réinvente le personnage dans son intégralité. Il n’essaie pas de fondre votre visage sur la tête de quelqu’un d’autre – il régénère la scène avec vous en tant que personnage.

La différence est subtile mais énorme. Votre teint reste votre teint. La structure de votre visage informe le personnage dans son ensemble, pas seulement un visage collé. Le résultat donne l’impression que vous appartenez réellement à ce mème, car l’IA ne lutte pas contre une inadéquation – elle se construit autour de vous.

Quand utiliser lequel

Nous avons conservé les deux options car elles ont chacune leur place :

Échange de visage statique est plus rapide et fonctionne très bien lorsque vous passez à un mème dont le visage d'origine est similaire au vôtre - teint similaire, présentation de genre similaire, structure faciale similaire. C'est également mieux pour préserver les expressions exactes du mème original.

Échange de personnages est ce que vous voulez lorsqu'il y a une différence significative entre vous et le modèle de mème. Un teint différent ? Échange de personnages. Un sexe différent ? Échange de personnages. Le mème original a une forme de visage complètement différente ? Échange de personnages. Le traitement prend un peu plus de temps, mais les résultats en valent la peine.

Obtenir les meilleurs résultats

Quel que soit le mode que vous utilisez, deux éléments font la plus grande différence dans la qualité de sortie : votre photo source et le mème que vous choisissez.

Votre photo source compte (beaucoup)

L'IA ne peut fonctionner qu'avec ce que vous lui donnez. Une photo floue, sombre ou partiellement obscurcie produira des résultats flous et étranges. Voici ce qui fonctionne réellement :

Juste vous dans le cadre. Les photos de groupe confondent l'IA quant au visage à utiliser. Même si votre visage est le plus grand, les autres visages de l'image peuvent interférer avec la détection et la génération. Recadrez-les ou utilisez une autre photo.

Expression neutre. Je sais, je sais - ta photo riante est superbe. Mais pour les échanges de visages, un sourire neutre ou léger fonctionne mieux. Les expressions extrêmes (bouche grande ouverte, yeux plissés, etc.) ne sont pas bien transférées car le mème cible a sa propre expression qui doit transparaître.

Pas de lunettes de soleil. Cela semble évident, mais je reçois suffisamment d'e-mails d'assistance pour savoir que ce n'est pas le cas. L'IA a besoin de voir vos yeux. Lunettes de soleil, lunettes de ski, casques VR – rien de tout cela ne fonctionne. Les lunettes ordinaires conviennent généralement.

Bon éclairage, face à l'avant. Lumière naturelle ou photos intérieures bien éclairées. Faites face à la caméra. Les profils latéraux peuvent fonctionner, mais vous rendez la tâche plus difficile que nécessaire.

Choisir le bon modèle de mème

Tous les mèmes ne sont pas créés égaux pour l'échange de visage. Le modèle que vous choisissez affecte vos résultats tout autant que votre photo source.

Une résolution plus élevée = de meilleurs résultats. Ce mème croustillant et frit qui a été capturé et re-téléchargé 47 fois ? L’IA a du mal avec cela. Recherchez des versions plus propres des modèles lorsque cela est possible. Tenor propose généralement des versions de qualité décente de mèmes populaires.

Les visages clairs et visibles fonctionnent mieux. Si le visage du mème est minuscule, fortement obscurci, sous un angle extrême ou recouvert de peinture faciale/de stylisation importante, les résultats seront incohérents. Les classiques sont des classiques pour une raison : Drake, Distracted Boyfriend, des mèmes de réaction aux expressions claires.

GIF avec des visages stables. Pour les mèmes animés, ceux qui fonctionnent le mieux ont un positionnement du visage relativement stable. Des mouvements subtils (clignotements, petits tours de tête) conviennent. Des mouvements de caméra sauvages, des coupes rapides entre les angles ou une déformation extrême du visage produiront des résultats plus approximatifs.

Et ensuite

Nous sommes toujours en train de construire activement. Le modèle d'échange de personnages s'améliore à chaque itération et nous travaillons à rendre le traitement plus rapide sans sacrifier la qualité. Il y a aussi des choses intéressantes à venir concernant les échanges de personnages animés - en adoptant l'approche de réimagination, mais pour les GIF.

Si vous avez des commentaires ou des problèmes, faites-le moi savoir. Tout cela a commencé parce que les outils existants ne fonctionnaient pas pour tout le monde. S’assurer que MEEMES fonctionne réellement pour tout le monde est tout l’intérêt.