SONY Neural Network Console でミニ VGGnet を作る

今回もニューラルネットワークの設計をやってみます

こんにちは cedro です。

前回のAlexnetに続き、今回も過去に発表された有名なモデルを参考に、ニューラルネットワークの設計をしてみます。

使用するデータセットは、前回同様CIFAR-10で、カラー32×32ピクセルの10種類の画像が、学習ファイル50,000枚、評価ファイル10,000枚あるものです。

VGGnet とは？

さて、今回参考にするニューラルネットワークは、画像認識コンテストILSVRCの2014年に２位になったVGGnet です。

この年の優勝はGooglenetなのですが、VGGnet は前回参考にしたAlexnetの進化形で、構造がシンプルで美しく、今でも良く使われるニューラルネットワークなので、こちらを参考にします。

早速設計図を見てみましょう。

作ったのは、オックスフォード大学のVGG（Visual Geometry Group）というチームで、色々なバリエーションがありますが、良く見るのはこのVGG-16というやつ。なんか正統派って感じですね。

名前の由来は、VGGチームが作った、畳み込み13層＋全結合層３層＝16層のニューラルネットワークということで、VGG-16となっているそうです。

mini_VGGnet の設計

さて、これを参考に、どうニューラルネットワークを設計するかですが。

例によって、ILSVRの入力サイズは224×224、CIFAR-10のサイズは32×32なので、大胆にも最初の畳み込み4層分は省略して、畳み込み層の5層目からスタートすることにします。

また、GPU無し環境を考慮して、畳み込み各層の画像枚数はオリジナルの１/４にしておきます。

設定をまとめてみるとこんな感じです。

上記の設定をSONY Neural Network Console に入力すると、こんな感じになります。長くなるので、２列表記にしています。

基本的にはmini_ALexnetと同じ様な構造ですが、畳み込み層が5→9へ増え、よりディープなニューラルネットワークになっています。このモデルの名前は、mini_VGGnetと名付けます。

なお、先回mini_Alexnet の時に畳み込み層１と２に入れていた、Batch Normazilation は、省いておきました。なぜなら、Batch Normazilation が発表されたのは2015年で、VGG16の発表は2014年ですから、時代考証すると、入れてはまずいからです（笑）。

学習・評価の実行

まず例によって、5epoch やってみて感触を掴みます。

畳み込み層5→9のアップは伊達じゃなく、5epoch に何と8時間15分掛かりました。さあ、これだけ時間を掛けたんだから、精度はさぞや期待できそうかな、と思って評価結果を見てみると。

ガーン！なんと精度は70.34％ ！　mini_Alexnet の5epoch の時の精度は73.07％ですから、mini_Alexnet より悪い結果なんです。うーん、何が悪いんだろう。

何が影響しているのか？

なぜ、2014年モデルが2012年モデルに負けてしまうのか。

思い当たるのは、mini_Alexnet　には時代考証を無視して、Batch Normazilation を畳み込み層の１と２に入れた事くらいですが、それがそんなに効くとも思えないし、と悩んでいました。

しかし、Webで調べていると、こんな記述がありました。

Batch Normalizationは2015年にSergey IoffeとChristian Szegedyが提案した手法。具体的には、ミニバッチごとに平均が0，分散が1になるように正規化を行うことで、学習の収束速度の向上、Dropoutの必要性の低下、事前学習の必要性低下 などの効果が得られる。

また、こんな強烈なコメントもありました。

Batch Normalization を使っていないやつは、人生を無駄にしている。

もしかしたら、意外に効果があるのかもしれない。しかし、もし本当に効果がある手法であれば、最新のモデルには必ず使ってあるはず、どんな使い方をしているのかも含めて、調べてみようと思いました。

そういえば、ILSVRCの2015年に優勝したResnetが、Neural Network Consoleのサンプルプロジェクトの中にあったなーと思い出し、確認してみると。

なんと驚いたことに、Resnetには全ての畳み込み層の後に、必ずBatch Normalization が入っていました。

なるほど、そういうことですか。それならと、mini_VGGnet の9つの畳み込み層の後には全部 Batch Normalization を入れてみることにしました。Mini_VGGnet_MarkⅡと名付けます（笑）。

mini_VGGnet MarkⅡの設計

設定をまとめると、こうなります。Batch Normalization 9 個追加！

Neural Network Console に入力すると、こんな形。とりあえず学習を 5epoch やります。

再度、学習・評価

Batch Normalization を９層追加した結果、学習時間は1時間34分伸びましたが、Validation Error は明らかに改善されているようです。

恐る恐る、Confusion Mtrix を見てみると、なんと驚いたことに、精度が10％以上もアップして、80.71％に！

Batch Normalization の威力凄い！何か、ネットワーク構造の革新より、この手法の方が効きが大きいんじゃないかと思うほどでした。

最終的には、10epoch の学習まででギブアップ。掛かった時間は17時間16分。私の MacbbokAir くん大変お疲れ様でした。

精度は83.52％でした。もっとやってみたい気はするが、ここまでにしました。

しかし、こういう展開になって来ると、ＧＰＵが付いた本格的なマシンが欲しくなりますねー。少なくとも10倍くらい早くなるとすると、17時間掛かったのが2時間かからずに終わってしまうわけですから。

ちょっと危険ですねー、この展開（笑）。

では、また。