cedro-blog

Instruct-pix2pixで、画像を文で編集する

1.はじめに

 今回ご紹介するのは、画像を文の指示で編集出来るInstruct-pix2pixという技術です。

*この論文は、2023.1に提出されました。

2.Instruct-pix2pixとは?

 Instruct-pix2pixは、「編集指示文」と「編集前後の画像」の大規模なデータセット(45万セット)をモデルに学習させて作りますが、この技術のポイントはこのデータセットをどうやって作るかです。

 ここで登場するのが、GPT-3、Stable Diffusion、Prompt2Prompt という3つの技術です。GPT-3は画像生成文と画像指示文の関係をクリアにし、Stable Diffusionは画像生成文から画像を生成します。一見、これで十分なように思えますが、そうは行きません。

 問題は、Stable Diffusionの画像生成文の一部の単語を入れ替えたときに、前後の生成画像でその単語以外の部分も変化し易いということです。そこでPrompt2Promptで、入れ替えた単語が画像生成モデルの何処のレイヤに強く反映させるかを制御することによって、この問題をクリアしています。

3.コード

 コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Open in Colab」ボタンをクリックすると動かせます。

 まず、セットアップを行います。

 

 それでは、画像でやってみましょう。最初に、サンプル画像としてpic : 01.jpgを読み込みます。自分で用意した画像を使う場合は、picture/picフォルダにその画像をアップロードして下さい。なお、画像は内部で512×512ピクセルで処理されるので、画像は正方形に近いものが望ましいです。

 

 次に、InstructPix2Pixを実行します。promoptは “turn her cloths into leather jacket”(彼女の服を革のジャケットに変える)とします。

 服のみウールジャケットから皮に変更し、その他の要素は変えない画像編集が出来ています。

 以下で出来た画像をダウンロードします(Chrome専用)。

 いくつか他にもやってみましょう。promoptは “Make it a bronze statue”(ブロンズ像にする)です。

 今度は、人がターゲットであることを自動的に認識して、人物をブロンズ像に変更し、その他の要素は変わっていません。

 背景を変更してみましょう。promoptは “make it lunar surface in the background”(背景を月面にする)です。

 今度は、背景だけ月面になり、その他の要素は変化していません(ウールジャケットの色に若干変化はありますが)。

 アクセサリーを付加してみましょう。promoptは “she wears glasses”(彼女はメガネを掛けている)です。

  

 さて、ついでに安定性を見るために、サンプル動画でテストしてみましょう。最初に、video : 01.mp4 を読み込んで画像にバラします。もし、自分で用意した動画を使いたい場合は、movie/videoフォルダに音声付のmp4動画をアップロードして下さい。その際、動画3秒程度にして下さい(めっちゃ変換に時間が掛かるので)。

 

 次に、バラした画像に順次InstructPix2Pixを掛けて行きます。prompt“Make it a Van Gogh painting”(ゴッホの絵にする)です。

 

 変換した画像から動画を作成します。

https://cedro3.com/wp-content/uploads/2023/02/01.mp4_Make_it_a_Van_Gogh_painting.mp4

 若干ゆらぎはありますが、割と変換は安定しているようです。

 下記で出来た動画をダウンロードします(Chrome専用)

 この技術は、空間操作(「画像の左に移動させる」、「位置を入れ替える」、「コップを2つテーブルに置き、1つを椅子におく」など)は苦手であるなどまだ問題点はあります。これからのさらなる発展が楽しみです。

 では、また。

(オリジナルgithub)https://github.com/timothybrooks/instruct-pix2pix