facefusionで、顔を入れ替える

1.はじめに

　今回ご紹介するのは、たった１枚の顔画像で、動画の顔を入れ替える事が出来るfacefusionという技術です。同種の技術であるSberSwapを2022.1にご紹介しましたが、これはその進化版です。

2.コード

　この[リンク]をクリックするとcolabが動かせます。なお、このコードは、@smokiazo氏によって作成されたものです。

　まず、セットアップを行います。

!git clone https://github.com/facefusion/facefusion
!pip install onnxruntime-gpu && pip install -r /content/facefusion/requirements.txt

1 2	!git clone https://github.com/facefusion/facefusion !pip install onnxruntime-gpu && pip install -r /content/facefusion/requirements.txt

　次に、facefusionを起動します。下記のようなログが表示されたら赤枠をクリックします。すると、別のタブに操作画面が表示されます。

%cd "/content/facefusion"
!ssh-keygen -q -t rsa -N '' -f ~/.ssh/id_rsa <<<y >/dev/null 2>&1
!ssh-keyscan -t rsa remote.moe >> ~/.ssh/known_hosts
!python run.py --execution-providers cuda & ssh -R 80:localhost:7860 remote.moe

%cd "/content/facefusion"

!ssh-keygen -q -t rsa -N '' -f ~/.ssh/id_rsa <<<y >/dev/null 2>&1

!ssh-keyscan -t rsa remote.moe >> ~/.ssh/known_hosts

!python run.py --execution-providers cuda & ssh -R 80:localhost:7860 remote.moe

　下記が操作画面です。SOURCEにソース画像（この顔にしたい画像）、TARGETにターゲット画像あるいは動画をドラッグ＆ドロップします。しばらくすると、REFERENCE FACEにターゲットの対象となる顔、PREVIEWに画像あるいは最初のフレームの顔を置き換えた画像が表示されます。

　STARTボタンをクリックします。しばらくすると、赤枠点線内に顔を置き換えた画像あるいは動画が表示されます。処理時間は５秒の動画で１分くらい（GPUがT4の場合）です。