RVMで、撮影済みの動画の背景をグリーンバックに変更する

1.はじめに

 通常、動画の背景を後で編集したい場合は、その動画を撮影するときに背景をグリーンバックにしますが、これは結構面倒です。そこで、今回ご紹介するのは、撮影済みの動画の背景をグリーンバックに変更するRVMという技術です。

*この論文は、2021.8に提出されました。

2.RVMとは?

 下記が、RVM(Robust Video Matting)のアーキテクチャーです。大きく分けると3つの部分で構成されていて、エンコーダー(Encoder)、リカレントデコーダー(Recurent Decoder)、アップサンプラー(Upsampler)です。

 エンコーダーは、人の検出用にMobileNetV3-Largeを使い、そして人の領域検出用にLR-ASPPモジュールを使うことで、特徴量を抽出します。

 リカレントデコーダーは、設定した間隔毎にメモリープールに新たな情報を加え古い情報を削除するこことで、メモリープールに常に一定の情報を蓄えます。そのメモリープールの情報に対してConvGRUを使った反復メカニズムで予測精度を上げています。

 アップサンプラーは、リカレントデコーダーと入力情報を統合してグリーンバックの動画を生成します。

 それでは、早速動かして見ましょう。

3.コード

 コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。

 まず、セットアップをおこないます。

 

 次に、グリーンバックにしたい動画をアップロードします。次のブロックを実し、自分のPCに保存されているmp4動画を選択します。アップロードが完了すると、動画の名称が自動的にinput.mp4に変更されます。

 まず、サンプル動画でやってみるので、とりあえず次のブロックはパスします。

 

 それでは、サンプル動画input.mp4をダウンロードします。

 そして、動画をグリーンバックに変更します。グリーンバックにした動画は、com.mp4として保存されます。

 変換した動画を見てみましょう。

 完成度は割と高いと思います。それにしても撮影済みの動画をグリーンバックに変更できるのは便利ですよね。

(オリジナルgithub)https://github.com/PeterL1n/RobustVideoMatting

(twitter投稿)

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

ABOUTこの記事をかいた人

アバター

ディープラーニング・エンジニアを趣味でやってます。E資格ホルダー。 好きなものは、膨大な凡ショットから生まれる奇跡の1枚、右肩上がりのワクワク感、暑い国の新たな価値観、何もしない南の島、コード通りに動くチップ、完璧なハーモニー、仲間とのバンド演奏、数えきれない流れ星。