Construindo MEEMES: Troca de Personagem vs Troca de Rosto

Comecei a construir MEEMES porque estava frustrado. Todas as ferramentas de troca de rosto que experimentei funcionaram muito bem em demonstrações - quando a pessoa no meme parecia semelhante à pessoa que estava sendo trocada. Mas no momento em que houve uma incompatibilidade no tom de pele, gênero ou estrutura facial? Os resultados variaram de estranhos a genuinamente perturbadores.

Isso não é um problema de nicho. Isso é a maioria das pessoas, na maioria das vezes.

O problema com a troca de rosto tradicional

A tecnologia tradicional de troca de rosto faz exatamente o que diz: pega um rosto e cola em outro rosto. A IA tenta misturar tons de pele e combinar a iluminação, mas é fundamentalmente limitada. É tentar fazer com que seu rosto se encaixe em um espaço que foi moldado pela estrutura óssea, cor da pele e características de outra pessoa.

Isso funciona bem quando a troca é entre pessoas de aparência semelhante. Mas tente trocar o rosto de uma mulher por um modelo de meme masculino, ou qualquer troca onde haja uma diferença significativa no tom de pele, e você terá... problemas. Coisas estranhas do vale. O tipo de resultados que você definitivamente não deseja compartilhar.

Insira a troca de personagem

Então construímos algo diferente. Em vez de apenas trocar rostos, nossa Troca de Personagem reimagina o personagem inteiro. Ele não tenta misturar seu rosto com a cabeça de outra pessoa - ele regenera a cena com você como personagem.

A diferença é sutil, mas enorme. Seu tom de pele permanece seu tom de pele. Sua estrutura facial informa todo o personagem, não apenas um rosto colado. O resultado parece que você realmente pertence a esse meme, porque a IA não está lutando contra uma incompatibilidade – ela está crescendo ao seu redor.

Quando usar qual

Mantivemos as duas opções porque cada uma tem o seu lugar:

Troca de rosto estático é mais rápido e funciona muito bem quando você muda para um meme onde o rosto original é semelhante ao seu - tom de pele semelhante, apresentação de gênero semelhante, estrutura facial semelhante. Também é melhor preservar expressões exatas do meme original.

Troca de personagem é o que você deseja quando há alguma diferença significativa entre você e o modelo de meme. Tom de pele diferente? Troca de personagem. Gênero diferente? Troca de personagem. O meme original tem um formato de rosto completamente diferente? Troca de personagem. Demora um pouco mais para processar, mas os resultados valem a pena.

Obtendo os melhores resultados

Seja qual for o modo que você usar, há duas coisas que fazem a maior diferença na qualidade da saída: a foto de origem e o meme que você escolher.

Sua foto de origem é importante (muito)

A IA só pode funcionar com o que você fornece. Uma foto desfocada, escura ou parcialmente obscurecida produzirá resultados desfocados e estranhos. Aqui está o que realmente funciona:

Só você no quadro. As fotos em grupo confundem a IA sobre qual rosto usar. Mesmo que o seu rosto seja o maior, outros rostos na imagem podem interferir na detecção e geração. Recorte-os ou use uma foto diferente.

Expressão neutra. Eu sei, eu sei - sua foto rindo é ótima. Mas para trocas de rosto, um sorriso neutro ou leve funciona melhor. Expressões extremas (boca aberta, olhos semicerrados, etc.) não são bem transferidas porque o meme alvo tem sua própria expressão que precisa ser transmitida.

Sem óculos de sol. Isso parece óbvio, mas recebo e-mails de suporte suficientes para saber que não é. A IA precisa ver seus olhos. Óculos de sol, óculos de esqui, fones de ouvido VR – nada disso funciona. Óculos normais geralmente servem.

Boa iluminação, frontal. Luz natural ou fotos internas bem iluminadas. Fique de frente para a câmera. Perfis laterais podem funcionar, mas você está tornando isso mais difícil do que o necessário.

Escolhendo o modelo de meme certo

Nem todos os memes são criados iguais para troca de rosto. O modelo escolhido afeta seus resultados tanto quanto a foto de origem.

Maior resolução = melhores resultados. Aquele meme crocante e frito que foi capturado e reenviado 47 vezes? A IA luta contra isso. Procure versões mais limpas de modelos quando possível. Tenor geralmente tem versões de memes populares de qualidade decente.

Rostos claros e visíveis funcionam melhor. Se o rosto no meme for pequeno, muito obscurecido, em um ângulo extremo ou coberto com pintura facial/estilização pesada, os resultados serão inconsistentes. Os clássicos são clássicos por uma razão – Drake, Distracted Boyfriend, memes de reação com expressões claras.

GIFs com rostos estáveis. Para memes animados, aqueles que funcionam melhor têm um posicionamento facial relativamente estável. Movimentos sutis (piscar, pequenas viradas de cabeça) são aceitáveis. Movimentos selvagens da câmera, cortes rápidos entre ângulos ou deformação extrema da face produzirão resultados mais grosseiros.

O que vem a seguir

Ainda estamos construindo ativamente. O modelo de troca de caracteres fica melhor a cada iteração e estamos trabalhando para tornar o processamento mais rápido sem sacrificar a qualidade. Há também algumas coisas interessantes em torno das trocas de personagens animados - adotando a abordagem de reimaginação, mas para GIFs.

Se você tiver comentários ou problemas, me avise. Tudo isso começou porque as ferramentas existentes não funcionavam para todos. Garantir que o MEEMES realmente funcione para todos é o objetivo.