MEEMES の構築: キャラクター交換と顔交換

イライラして MEEMES を作り始めました。私が試した顔交換ツールはどれも、ミーム内の人物が交換される人物に似ている場合には、デモではうまく機能しました。しかし、肌の色、性別、顔の構造に不一致が生じた瞬間はどうでしょうか?その結果は、気まずいものから本当に不安なものまで多岐にわたりました。

それはニッチな問題ではありません。ほとんどの場合、ほとんどの人がそうです。

従来の顔交換の問題点

従来の顔交換テクノロジは、まさにその言葉通りの動作を行います。つまり、顔を取得して別の顔に貼り付けます。 AI は肌の色調をブレンドし、照明を一致させようとしますが、基本的に限界があります。他人の骨格、肌の色、特徴によって形作られた空間にあなたの顔を適合させようとしています。

これは、見た目が似ている人の間で交換する場合にはうまく機能します。しかし、女性の顔を男性のミームテンプレートに交換したり、肌の色に大きな違いがある交換を試みると...問題が発生します。不気味の谷のもの。絶対に共有したくない種類の結果。

文字の入れ替えを入力してください

そこで、別のものを構築しました。キャラクター スワップでは、単に顔を交換するのではなく、キャラクター全体を再考します。自分の顔を他人の頭に合成しようとするのではなく、あなたをキャラクターとしてシーンを再生成します。

違いはわずかですが、大きなものです。あなたの肌の色はあなたの肌の色のままです。顔の構造は、貼り付けられた顔だけでなく、キャラクター全体に影響を与えます。 AI は不一致と戦っているのではなく、あなたを中心に構築されているため、結果はあなたが実際にそのミームに属しているように見えます。

いつどれを使用するか

それぞれに適切な場所があるため、両方のオプションを保持しました。

静的な顔の交換 の方が高速で、肌の色調、性別の表現、顔の構造など、元の顔が自分に似ているミームに交換する場合に最適です。また、元のミームの正確な表現を保存するのにも適しています。

キャラクターの入れ替え は、あなたとミーム テンプレートの間に大きな違いがある場合に必要なものです。肌の色が違う？キャラ交換。性別が違う？キャラ交換。元のミームは顔の形がまったく違いますか？キャラ交換。処理には少し時間がかかりますが、それだけの価値のある結果が得られます。

最良の結果を得るには

どちらのモードを使用しても、出力品質に最も大きな違いをもたらすのは 2 つです。ソース写真と選択したミームです。

ソース写真は重要です (非常に重要です)

AI は、与えられたものでのみ機能します。写真がぼやけていたり、暗く、部分的に隠れていたりすると、ぼやけて奇妙な結果が生じます。実際に機能するものは次のとおりです。

フレームの中にはあなただけが映ります。 グループ写真では、どの顔を使用するかについて AI が混乱します。自分の顔が最も大きい場合でも、画像内の他の顔が検出と生成を妨げる可能性があります。切り取るか、別の写真を使用してください。

中立的な表現。 わかってる、わかってる - あなたの笑っている写真は素晴らしいですね。ただし、顔の交換の場合は、無表情またはわずかな笑顔が最適です。極端な表現（口を大きく開けたり、目を細めたりするなど）は、対象となるミームには表現する必要がある独自の表現があるため、うまく伝わりません。

サングラスはありません。 これは明らかなことのように思えますが、そうではないことを知るために十分な数のサポート メールが届きます。 AI はあなたの目を認識する必要があります。サングラス、スキーゴーグル、VR ヘッドセット - これらはどれも機能しません。通常のメガネは大丈夫です。

明るい照明、正面向き。 自然光または明るい屋内の写真。カメラに向かってください。横顔も効果はありますが、必要以上に難しくしてしまいます。

適切なミーム テンプレートの選択

すべてのミームが顔の交換に対して同じように作成されているわけではありません。選択したテンプレートは、ソース写真と同じくらい結果に影響します。

解像度が高いほど、結果が向上します。 スクリーンショットを撮られて 47 回も再アップロードされた、あの無愛想で揚げたミームですか? AIはそれに苦戦します。可能な場合は、テンプレートのよりクリーンなバージョンを探してください。テナーには通常、人気のあるミームのまともな品質のバージョンがあります。

鮮明で目に見える顔が最適です。 ミーム内の顔が小さかったり、かなり隠されていたり、極端な角度であったり、フェイス ペイントや過度の様式化で覆われている場合、結果は一貫性がなくなります。ドレイク、気が散るボーイフレンド、明確な表現を持つリアクションミームなど、古典には古典であるのには理由があります。

顔が安定したGIF。 アニメーション ミームの場合、顔の位置が比較的安定しているものが最も効果的です。微妙な動き（まばたき、頭を小さく回すなど）は問題ありません。激しいカメラの動き、アングル間の素早いカット、または極端な顔の変形により、結果が粗くなります。

次は何ですか

私たちはまだ積極的に構築中です。キャラクター交換モデルは反復するたびに改善されており、品質を犠牲にすることなく処理を高速化することに取り組んでいます。アニメーションキャラクターの交換に関しても、GIF を除いて再考するアプローチを採用した興味深いものがいくつか登場しています。

フィードバックや問題が発生した場合は、お知らせください。このことは、既存のツールが誰にとっても機能しないことから始まりました。 MEEMES がすべての人にとって実際に機能することを確認することが重要です。