Construyendo MEEMES: Intercambio de personajes versus intercambio de caras

Empecé a construir MEEMES porque estaba frustrado. Todas las herramientas de intercambio de caras que probé funcionaron muy bien en las demostraciones, cuando la persona en el meme se parecía a la persona con la que se intercambiaba. ¿Pero en el momento en que hubo una discrepancia en el tono de piel, el género o la estructura facial? Los resultados variaron desde incómodos hasta genuinamente inquietantes.

Ese no es un problema de nicho. Esa es la mayoría de la gente, la mayor parte del tiempo.

El problema del intercambio de caras tradicional

La tecnología tradicional de intercambio de caras hace exactamente lo que dice: toma una cara y la pega en otra cara. La IA intenta mezclar tonos de piel y combinar la iluminación, pero es fundamentalmente limitado. Se trata de hacer que tu rostro encaje en un espacio que fue moldeado por la estructura ósea, el color de la piel y los rasgos de otra persona.

Esto funciona bien cuando el intercambio es entre personas de apariencia similar. Pero intenta cambiar el rostro de una mujer por una plantilla de meme masculina, o cualquier cambio en el que haya una diferencia significativa en el tono de la piel, y obtendrás... problemas. Cosas extrañas del valle. El tipo de resultados que definitivamente no quieres compartir.

Ingresar intercambio de caracteres

Entonces construimos algo diferente. En lugar de simplemente intercambiar caras, nuestro Intercambio de personaje reimagina al personaje completo. No intenta mezclar tu cara con la cabeza de otra persona: regenera la escena contigo como personaje.

La diferencia es sutil pero enorme. Tu tono de piel permanece tu tono de piel. Tu estructura facial informa a todo el personaje, no solo una cara pegada. El resultado parece que realmente perteneces a ese meme, porque la IA no está luchando contra una falta de coincidencia, sino que se está construyendo a tu alrededor.

Cuándo usar cuál

Mantuvimos ambas opciones porque cada una tiene su lugar:

Intercambio de caras estáticas es más rápido y funciona muy bien cuando cambias a un meme donde la cara original es similar a la tuya: tono de piel similar, presentación de género similar, estructura facial similar. También es mejor para preservar expresiones exactas del meme original.

Intercambio de personajes es lo que quieres cuando hay una diferencia significativa entre tú y la plantilla de meme. ¿Diferente tono de piel? Intercambio de personajes. ¿Género diferente? Intercambio de personajes. ¿El meme original tiene una forma de cara completamente diferente? Intercambio de personajes. Lleva un poco más de tiempo procesarlo, pero los resultados valen la pena.

Obteniendo los mejores resultados

Cualquiera que sea el modo que utilices, hay dos cosas que marcan la mayor diferencia en la calidad de salida: tu foto original y el meme que elijas.

Tu foto de origen importa (mucho)

La IA sólo puede funcionar con lo que le das. Una foto borrosa, oscura o parcialmente oscurecida producirá resultados borrosos y extraños. Esto es lo que realmente funciona:

Solo tú en el cuadro. Las fotos grupales confunden a la IA sobre qué cara usar. Incluso si su rostro es el más grande, otros rostros en la imagen pueden interferir con la detección y generación. Recórtalas o usa una foto diferente.

Expresión neutra. Lo sé, lo sé, tu foto riendo es genial. Pero para los intercambios de caras, una sonrisa leve o neutra funciona mejor. Las expresiones extremas (boca muy abierta, ojos entrecerrados, etc.) no se transfieren bien porque el meme objetivo tiene su propia expresión que debe manifestarse.

Sin gafas de sol. Esto parece obvio, pero recibo suficientes correos electrónicos de soporte para saber que no lo es. La IA necesita ver tus ojos. Gafas de sol, gafas de esquí, cascos de realidad virtual: ninguno de estos funciona. Los vasos normales suelen estar bien.

Buena iluminación, frontal. Luz natural o fotografías en interiores bien iluminadas. Mira hacia la cámara. Los perfiles laterales pueden funcionar, pero lo estás haciendo más difícil de lo necesario.

Elegir la plantilla de meme adecuada

No todos los memes son iguales para intercambiar caras. La plantilla que elijas afectará tus resultados tanto como tu foto de origen.

Mayor resolución = mejores resultados. ¿Ese meme crujiente y frito que ha sido capturado y vuelto a subir 47 veces? La IA lucha con eso. Busque versiones más limpias de las plantillas cuando sea posible. Tenor suele tener versiones de calidad decente de memes populares.

Las caras claras y visibles funcionan mejor. Si la cara en el meme es pequeña, está muy oscurecida, está en un ángulo extremo o está cubierta con pintura facial o mucha estilización, los resultados serán inconsistentes. Los clásicos son clásicos por una razón: Drake, Distracted Boyfriend, memes de reacción con expresiones claras.

GIF con caras estables. Para los memes animados, los que funcionan mejor tienen una posición facial relativamente estable. Los movimientos sutiles (parpadeo, pequeños giros de la cabeza) están bien. Los movimientos salvajes de la cámara, los cortes rápidos entre ángulos o la deformación extrema de la cara producirán resultados más ásperos.

¿Qué sigue?

Todavía estamos construyendo activamente. El modelo de intercambio de personajes mejora con cada iteración y estamos trabajando para acelerar el procesamiento sin sacrificar la calidad. También hay algunas cosas interesantes en torno a los intercambios de personajes animados, adoptando el enfoque de reinvención pero para GIF.

Si tienes comentarios o problemas, házmelo saber. Todo esto empezó porque las herramientas existentes no funcionaban para todos. El objetivo es asegurarse de que MEEMES realmente funcione para todos.