MMDetectionで、インスタンスセグメンテーションをやってみる

1.はじめに

　今回ご紹介するのは、物体検出フレームワーク MMDetectionを使った、インスタンスセグメンテーション（画像から物体を検出し、形を推定するタスク）です。

2.MMDetectionとは？

　MMDetectionは、あらかじめ用意されたモジュールを組み合わせることで様々な物体検出のモデルを設計できるフレームワークです。設計内容はconfigファイルに記述し、今回の設計内容は以下の様です。

　config = ‘configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'

モデルタイプ：mask_rcnn
バックボーン：r50_caffe（ResNet-50_caffe）
ネックモジュール：fpn（Feature Pyramid Networks）
その他の設定：mstrain_poly
学習エポック数：3x（36エポック）
データセット名：coco

　早速、コードを動かしてみましょう。

3.コード

　コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。

　まず、セットアップを行います。mmcv-fullのインストールに時間が掛かるため、セットアップ全体では20〜30分位です。

# チェックnvcc, gccバージョン
!nvcc -V
!gcc --version  # 7.5.0

# pytorchバージョン変更
!pip install -U torch==1.5.1+cu101 torchvision==0.6.1+cu101 -f https://download.pytorch.org/whl/torch_stable.html

# mmcv-fullインストール
!pip install mmcv-full==1.3.8

# githubからコードを取得
!rm -rf mmdetection
!git clone https://github.com/cedro3/mmdetection.git
%cd mmdetection

# ライブラリーインストール
!pip install -e .

# Pillowバージョン変更
!pip install Pillow==7.0.0

# 学習済みパラメータのダウンロード
!mkdir checkpoints
!wget -c https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth \
      -O checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth

# 初期設定
from mmdet.apis import inference_detector, init_detector, show_result_pyplot
config = 'configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'
checkpoint = 'checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'
model = init_detector(config, checkpoint, device='cuda:0')

# チェック MMDetectionバージョン
import mmdet
print(mmdet.__version__)  # 2.17.0

# チェック mmcvバージョン
from mmcv.ops import get_compiling_cuda_version, get_compiler_version
print(get_compiling_cuda_version())  # 11.1
print(get_compiler_version())  # GCC 7.5

# チェックnvcc, gccバージョン

!nvcc -V

!gcc --version # 7.5.0

# pytorchバージョン変更

!pip install -U torch==1.5.1+cu101 torchvision==0.6.1+cu101 -f https://download.pytorch.org/whl/torch_stable.html

# mmcv-fullインストール

!pip install mmcv-full==1.3.8

# githubからコードを取得

!rm -rf mmdetection

!git clone https://github.com/cedro3/mmdetection.git

%cd mmdetection

# ライブラリーインストール

!pip install -e .

# Pillowバージョン変更

!pip install Pillow==7.0.0

# 学習済みパラメータのダウンロード

!mkdir checkpoints

!wget -c https://download.openmmlab.com/mmdetection/v2.0/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth \

-O checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth

# 初期設定

from mmdet.apis import inference_detector, init_detector, show_result_pyplot

config = 'configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py'

checkpoint = 'checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth'

model = init_detector(config, checkpoint, device='cuda:0')

# チェック MMDetectionバージョン

import mmdet

print(mmdet.__version__) # 2.17.0

# チェック mmcvバージョン

from mmcv.ops import get_compiling_cuda_version, get_compiler_version

print(get_compiling_cuda_version()) # 11.1

print(get_compiler_version()) # GCC 7.5

　サンプル画像のインスタンスセグメンテーションをやってみましょう。自分の画像でやってみたい場合は、demoフォルダーへその画像をアップロードし、img: でその画像を指定して下さい。

#@title 画像の物体検出
img = 'demo/demo2.jpg'#@param {type:"string"}
result = inference_detector(model, img)

#@title 画像の物体検出

img = 'demo/demo2.jpg'#@param {type:"string"}

result = inference_detector(model, img)

　下記で、検出した画像を表示します。

#@title 検出画像表示
show_result_pyplot(model, img, result, score_thr=0.3)

1 2	#@title 検出画像表示 show_result_pyplot(model, img, result, score_thr=0.3)

　それでは、サンプル動画でインスタンスセグメンテーションをやってみましょう。自分の動画でやってみたい場合は、demoフォルダーへその動画をアップロードし、! python demo/video_demo.py demo/demo2.mp4 の demo2.mp4を自分の動画名に置き換えて下さい。

#@title 動画の物体検出
! python demo/video_demo.py demo/demo2.mp4\
          configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py\
          checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth\
          --out result.mp4

#@title 動画の物体検出

! python demo/video_demo.py demo/demo2.mp4\

configs/mask_rcnn/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco.py\

checkpoints/mask_rcnn_r50_caffe_fpn_mstrain-poly_3x_coco_bbox_mAP-0.408__segm_mAP-0.37_20200504_163245-42aa3d00.pth\

--out result.mp4

　動画は result.mp4 に保存されます。こんな感じ。