构建 MEEMES：角色交换与面部交换

我开始构建 MEEMES 因为我很沮丧。我尝试过的每个换脸工具在演示中都效果很好 - 当模因中的人看起来与被换入的人相似时。但是当肤色、性别或面部结构不匹配时？结果从尴尬到真正令人不安。

这不是一个小问题。大多数人、大多数时候都是这样。

传统换脸的问题

传统的换脸技术正如其所言——将一张脸粘贴到另一张脸上。人工智能试图混合肤色并匹配灯光，但它从根本上是有限的。它试图让你的脸融入到由别人的骨骼结构、肤色和特征塑造的空间中。

当在相貌相似的人之间交换时，这很有效。但是尝试将女性的脸替换为男性模因模板，或者任何肤色存在显着差异的替换，您会遇到……问题。恐怖谷的东西。您绝对不想分享这种结果。

输入字符交换

所以我们构建了一些不同的东西。我们的角色交换不仅仅是交换面孔，而是重新构想整个角色。它不会尝试将你的脸融合到别人的头上 - 它会重新生成以你为角色的场景。

差异虽然微妙但巨大。您的肤色保持您的肤色。你的面部结构体现了整个角色，而不仅仅是一张粘贴的脸。结果看起来你确实属于那个模因，因为人工智能并不是在对抗不匹配——它是在你周围构建的。

何时使用哪个

我们保留了这两个选项，因为它们各有千秋：

静态换脸 当您切换到原始面孔与您相似的模因时（相似的肤色、相似的性别表现、相似的面部结构）时， 速度更快，效果也很好。它还可以更好地保留原始模因的精确表达。

角色交换 当您和模因模板之间存在任何显着差异时， 就是您想要的。肤色不同？角色交换。不同性别？角色交换。原来的表情包脸型完全不一样？角色交换。处理时间有点长，但结果是值得的。

获得最佳结果

无论您使用哪种模式，有两件事对输出质量影响最大：您的源照片和您选择的模因。

你的源照片很重要（很多）

人工智能只能根据你提供的信息进行工作。模糊、黑暗或部分模糊的照片会产生模糊、奇怪的结果。这是实际有效的：

画面中只有你。 集体照片让人工智能困惑不知道该使用哪张脸。即使您的脸部最大，图像中的其他脸部也会干扰检测和生成。将它们裁剪掉或使用不同的照片。

中性表达。 我知道，我知道 - 你笑的照片很棒。但对于换脸来说，中性或轻微的微笑效果最好。极端的表情（张大嘴巴、眯起眼睛等）不能很好地传递，因为目标模因有自己的表情需要传达。

没有太阳镜。 这似乎是显而易见的，但我收到足够多的支持电子邮件，知道事实并非如此。人工智能需要看到你的眼睛。太阳镜、滑雪镜、VR 耳机——这些都不起作用。普通眼镜通常没问题。

采光良好，朝前。 自然光或光线充足的室内照片。面对相机。侧面轮廓可以起作用，但你让它变得比需要的更困难。

选择正确的模因模板

并非所有模因都适合换脸。您选择的模板对结果的影响与源照片一样大。

更高的分辨率=更好的结果。 那个被截图并重新上传了 47 次的硬皮油炸模因？人工智能正在与之斗争。尽可能寻找更简洁的模板版本。 Tenor 通常有流行模因的质量不错的版本。

清晰可见的面孔效果最佳。 如果模因中的脸部很小，严重模糊，角度极端，或者被脸部油漆/严重风格化覆盖，结果将不一致。经典之所以成为经典是有原因的——德雷克、分心的男朋友、表情清晰的反应模因。

带有稳定面孔的 GIF。 对于动画模因，效果最好的模因具有相对稳定的面部定位。轻微的动作（眨眼、小转头）都可以。疯狂的相机移动、角度之间的快速切换或极端的面部变形都会产生更粗糙的结果。

接下来是什么

我们仍在积极建设中。角色交换模型在每次迭代中都会变得更好，我们正在努力在不牺牲质量的情况下加快处理速度。围绕动画角色交换也出现了一些有趣的东西——除了 GIF 之外，还采用了重新想象的方法。

如果您有反馈或遇到问题，请告诉我。整件事的开始是因为现有的工具并不适合所有人。确保 MEEMES 真正适合每个人才是重点。