cedro-blog

Tensorflow hub にある Progressive GAN の学習済みモデルでサクッと遊んでみる – その1

今回は、Tensorflow hub にあるProgressive GAN の学習済みモデルを使って、画像生成、ベクトル演算、モーフィングなどをして遊んでみたいと思います

こんにちは cedro です。

最近、Tensorflow hub という、学習済みモデルが使えるライブラリーの存在に気づいて調べてみると、珍しく CelebAの顔画像で訓練した Progressive GAN学習済みモデルがありました。

GANの学習はMNISTでもそこそこ時間が掛かり、128×128の顔画像くらいになるとGTX1060を使っても丸2日とか掛かるので中々手を出し難いですが、学習済みモデルをいじるだけであれば、普通のノートパソコンでサクッと動かせます。

ということで、今回は、Tensorflow hub にあるProgressive GAN学習済みモデルを使って、画像生成ベクトル演算モーフィングなどをして遊んでみたいと思います。

 

GANのおさらい

これは GAN の模式図です。Generator は Noise (乱数)を入力として、Discriminator に本物と間違わせるような偽物を作成することを学習します。

一方、Discriminator は本物偽物を間違えないように学習します。この2つのネットワークが切磋琢磨することで高度な画像生成ができる様になります。

 

学習完了後は、Noise(乱数)をGeneratorに入力するとFake Image を生成するモデルが完成します。もちろん、Noise(乱数)の代わりに自分で設定したベクトルを入力しても良いです。同じベクトルを入力すれば、必ず同じ Fake Image を生成します。

今回、使うTensoleflow-hubProgressive GAN の仕様は以下のようです。
■訓練データ:CelebA 顔画像 202,599枚
■訓練内容 :バッチサイズ16、ステップ数636,801(約50 epoch)
■生成画像 :カラー128×128ピクセル

 

とりあえず、動かしてみる

事前準備として、Tensorflow , Tensorflow-hub がインストールされていなければ、インストールします(Tensorflow はバージョンが1.7以上である必要があります)。

 

学習済みモデルを使って、乱数から新たな顔画像を生成するプログラムです。

ポイントは4行だけで、9行目モデルをダウンロードし、13行目入力の乱数を発生させ、14行目関数の形にし、21行目関数を実行させるだけです。簡単!凄いぞ、Tensorflow-hub

 

プログラムを動かすと、こんな形で生成した画像を8行8列で表示します。画像生成に失敗している画像もありますね(笑)。入力は乱数を使っているので、生成される画像は毎回異なります。

さて、普通は学習が完了すると新たな画像を生成してみて、あー良かったねで終わってしまいますが、今回はここから遊んでみたいと思います。

 

入力の乱数の分布を変えてみる

プログラムでは、−1〜+1の範囲で乱数を発生(平均0・標準偏差1の正規分布)させています。これを0〜+1の範囲に変えてみると、どうなるでしょうか。

乱数を発生させている13行目を z_values = (np.random.randn(64,512)+1)/ 2 に書き換えて、プログラムを実行してみます。

 

なんと、男性ばかりになってしまいました! 0〜+1の範囲は男性の顔画像が多いということは、逆に −1〜0の範囲は女性の顔画像が多いのでしょうか?

乱数を発生させている13行目 z_values = ( np.random.rand(64,512)ー1)/ 2 に書き換えて、プログラムを実行してみます。

 

ありゃま、本当に、女性の顔画像ばかりになってしまいました。いやー、それにしても、0〜+1男性で、−1〜0女性なんて、出来過ぎな結果なような気がしますが、面白いですね。

 

入力ベクトルの演算をしてみる

入力は512次元の乱数で、いわゆるベクトルです。ベクトルであるならば演算ができるはずです。

しかし、毎回違う乱数を発生させていては実験がやり難いので、プログラムの乱数発生部分の直前に、np.random.seed (seed=16) というコマンドを追加します(16という数字は何でも良いです)。

こうすることで、乱数発生機能にリセットが掛かり、seed の設定が同じであれば、毎回同じ順番で同じ乱数を発生させることが出来ます。

 

np.random.seed (seed=16) で初期化した時の生成画像です。赤枠の3つの部分のベクトルを使って演算をしてみます。

 

 

やりたいのは、こういう計算です。サングラスを掛けた男性から、掛けてない男性を引いて、掛けてない女性を加えるとどうなるか。GANの論文にも載っている、有名な計算例ですね。

 

ベクトル演算をして結果を保存するプログラムです。np.random.seed (seed=16) で初期化して、64個の乱数を発生させてから、x = z[30] – z[20] + z[50] を計算し、x で画像を生成させます。結果は、pngで保存します。さて、どうなるでしょうか。

 

 

期待通り、ベクトル演算の結果は、サングラスを掛けた女性になりました。論文では、サングラスを掛けた男性掛けてない男性掛けてない女性のそれぞれを複数サンプリングし平均をとって計算しているのですが、とりあえずN=1でやってみました。

 

モーフィングをやってみる

ベクトルAからベクトルBの間を補間したベクトルを作って入力にすれば、ベクトルAの画像からベクトルBの画像へ連続的に変化する、いわゆるモーフィングが出来るはずです。

 

これは、np.random.seed (seed=5) で初期化した時の生成画像です。赤枠の4つの画像のベクトルを補間して、モーフィングをやってみます。

 

 

こんな感じで、モーフィングさせてみたいと思います。Z [53] → Z [22] →  Z[26]  →  Z[62] → Z [53] とターゲットとなる画像を決めて、その間を補間します。

 

モーフィングを行うプログラムです。兎に角、パッと間違いなく動かせるように、プログラムを組みましたので、美しくなくてすみません(笑)。2つのベクトル間を19分割して、単純に線形補間しているだけです。

 

プログラムを実行すると、こんな感じでモーフィング画像が80個保存されます。

 

保存した80個の画像を使ってGIF動画にすると、YouTube にもよくある、例の動画になります。女性→男性→女性→男性と交互に持って来た方が変化が大きくて面白いようです。

 

VAE風にマッピングしてみる

変分オートエンコーダーVAE)をご存知ですか。高次のベクトル空間に配置されている画像を見事に2次元マップマッピングしてくれるアレです。このブログでも、過去4回()に渡って記事にしています。

512次元のGANをなんとか2次元マップにマッピングできないだろうかと考えた結果、先ほどの4つの画像を四隅に配置して、8行8列のVAE風に加工してみたいと思います。

 

生成ロジックは、四隅にターゲットとする画像のベクトル( z0 〜z3 )を配置し、1列目と8列目を補間してから、1行づつ横へ補間します。

 

VAE風8行×8列で表示するプログラムです。何の工夫もないですが、間違いなく動かせるように、プログラムを組みましたので、極めて助長的ですみません(笑)。

 

簡単に言うと、先ほどのモーフイングは外周だけでしたが、VAE風にすることによって中を埋めた形になりました。さらに、生成する顔画像のバリエーションが増えましたね。

いやー、これは楽しいオモチャですね。Macbook Air でも楽々と動かせて、色々なことが試せます。

次回もまた、Tensorflow hubProgressive GAN で遊んでみたいと思います。

では、また。