StyleGAN2で、アニメキャラの上半身を生成する

1.はじめに

 通常、GANでアニメキャラを生成するというと顔のみです。しかし、今回ご紹介するのは、なんとアニメキャラの上半身を生成するGANです。

2.手法

 先週、AIアーティストAydaoさん(@AydaoAI)が作成したGANモデルを使った、This Anime Does Not Exist というHPが公開されました。このHPでは、GANを使って、この世界に存在しないアニメキャラクターを生成することが出来ます。

 HPを開くと、この様に画面一杯にアニメキャラクターがスクロールする形で生成されます。そして、生成するときの創造性(Creativity)と画面のスクロール速度(Speed)をスライダーで設定出来ます。

 GANをちょっとでも触ってみた人であれば、顔だけでなく上半身を画像生成することがどれほど大変なことか直ぐ分かると思います。Aydaoさんは、これを STyleGAN2を使い、膨大な学習データと転移学習・拡張によって実現しています。凄い!!!

 Aydaoさんの作ったモデルの学習済みの重みは公開されていますので、今回はそれを元に Google Colab でAydaoワールドを覗いてみたいと思います。

3.コード

 コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。

 最初に、tensorflow1.15.0 を動かすために必要な cuda10.0 をインストールします(2022.10よりgoogle colab からcuda10.0が削除されたため)。

 まず、セットアップを行います。

 次に、seedで指定した2枚の画像をブレンドした画像を生成してみましょう。seed は整数であれば何でもかまいません。

 blending = 0.5 はブレンドするときの src_seed の比率です。 truncation_psi = 0.8 は画像を生成するときに学習画像からどれだけ離すか(創造的か)の設定です。

 「清楚なお嬢さん」と「ワイルドなお姉さん」を50:50でブレンドすると、「ワイルドなお嬢さん」が出来上がります。

 次に、seedで指定した2枚の画像をモーフィングする動画を生成してみます。duration_sec = 5.0 は モーフィング時間(sec)、mp4_fps = 20 は動画のフレームレートです。

 2枚の画像の完成度が高いだけでなく、その中間画像も連続的で綺麗なことが分かります。

 最後に、創造性に関係する truncation_psi をもっと大きく(最大2.0)して、ランダムにグリッドでモーフィングする画像を生成してみましょう。ここで、random_seed は乱数の系列を表します。

 grid_width = 2 はグリッドの横の大きさ、grid_height = 2はグリッドの高さの設定です。 (ちなみに、grid_width = 1, grid_height = 1 だと動画を1つだけ生成します)

 モーフィングの途中でtruncation_psi を大きくしているので、より創造的な(変化の大きい)画像が生成されていることが分かります。また、学習データの中には、漫画のコマ割りの様なデータも含まれているようです。random_seed の数字を色々変えて楽しんでみて下さい。

 それにしても、Aydao ワールド、魅力的過ぎます。もう現実に戻って来れないかも。。。。

 では、また。

twitterへの投稿

12 件のコメント

  • 任意の画像をアップロードし読み込ませることは可能でしょうか。
    二次元三次元問わず、任意の画像をアップロードしモーフィングさせる方法をご存じでしたらお教えいただけますと幸いです。

    • 桜田ふぁみりあさん
      コメントありがとうございます。
      顔画像であれば、「GANの潜在空間に新垣結衣は住んでいるのか?」で画像を潜在変数にし、「StyleGAN2を使って顔画像の編集をやってみる」でモーフイングが作成できます。

      • cedro様
        ご返信ありがとうございます。

        「BigGAN TF Hub を使ってモーフィング動画を自動で作ってみる」のように、顔画像に限らないノージャンルのモーフィングをcolabなどで手軽に作成することはできますか。

        • 桜田ふぁみりあさん
          コメントありがとうございます。
          私のブログではカバーしていませんが、StyleGANでもベッドルームとか車とか猫とかジャンルを絞れば可能です。BigGANはあまり画質が良くないですが学習した1000ジャンルの範囲であれば原理的に可能だと思います。いずれの場合でも顔画像と同様に潜在変数を求めて、モーフィングをかければOKです。

          • cedro様

            毎度返信いただきありがとうございます。とても勉強になります。
            質問ばかりで申し訳ないのですが、よろしければもう一つ教えてください。

            「膨大な学習データと転移学習・拡張によって実現」された「Aydaoさんの作ったモデルの学習済みの重み」を用いて、
            自分で用意した画像を与え転移学習させてみたいのですが、その方法について少し調べてみたものの道筋が朧気です。

            本記事のプログラムを利用するなどの具体的な手順、そもそも可能なのかを含め助言いただけないでしょうか。

          • 桜田ふぁみりあさん
            コメントありがとうございます。
            Aydaoさんの行った転移学習・拡張の詳細について知りたい場合は、このリンク [https://www.gwern.net/Faces#extended-stylegan2-danbooru2019-aydao] を読んでみて下さい。
            それを元に、トライされてみてはいかがでしょうか。実現の可能性はあると思います。

  • 自分でアニメ画像を用意して、そのアニメ画像に近い画像を潜在空間から探し出したいのですが、どうしたらよいでしょうか?
    別記事「GANの潜在空間に新垣結衣は住んでいるのか?」で行っていることをアニメ画像でやるイメージです。

  • cedro様

    はじめまして。2点お聞きしたいことがあり、ご連絡いたしました。

    1.
    2枚の画像(seedを指定)をブレンドされておりますが、
    1枚はseedで指定、もう一枚は実際の画像をアップロードしてブレンドすることは可能でしょうか?

    2.
    2枚ではなく、複数枚の画像をブレンドすることも可能でしょうか?

    まだまだ勉強不足で頓珍漢な質問をしていたら大変申し訳ございません。

    • プログラミング初心者さん
      1.について
      ご覧いただいたアニメ生成モデルは、転移学習でかなり拡張されていますので、通常の方法では潜在変数が見つけにくいので、難しいです。
      2.について
      画像を生成するベクトルをある比率で平均すればいいので、複数枚の画像をブレンドすることは可能です。ただし、function.pyの中にある、関数generate_imagesの修正が必要です。

      • cedro様

        ご回答ありがとうございます。
        1のご回答に対してなのですが、seed指定はせずに2枚とも実際の画像アップロードしてブレンドすることも難しいのでしょうか?

        • プログラミング初心者さん

          ブレンドするためには、ブレンドしたい画像を生成する潜在変数を見つけて、その潜在変数をある比率で平均する必要があります。このアニメ生成モデル時は、転移学習でかなり拡張されていますので、「実際の画像から潜在変数を見つけることが難しい」です。

  • コメントを残す

    メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

    日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

    ABOUTこの記事をかいた人

    アバター

    ディープラーニング・エンジニアを趣味でやってます。E資格ホルダー。 好きなものは、膨大な凡ショットから生まれる奇跡の1枚、右肩上がりのワクワク感、暑い国の新たな価値観、何もしない南の島、コード通りに動くチップ、完璧なハーモニー、仲間とのバンド演奏、数えきれない流れ星。