PHALPで、人物の3Dモデルをトラッキングする

1.はじめに

 今回ご紹介するのは、動画に映っている人物の3Dモデルをトラッキングする、PHALPという技術です。

*この論文は、2021.12に提出されました。

2.PHALPとは?

 下記がPHALP(Predicting Human Appearance, Location and Pose for Tracking )の概要です。

 各フレームのすべてのバウンディングボックスについて、人物の外観(Appearance)、ポーズ(Pose)、位置(Location)の3つをトラックレット(Tracklet)という形でまとめ、累積した情報を統合(Aggregation)します。

 そして、この統合結果を元に予測した次のフレームのトラックレット(Prediction)と、次のフレームで検出したトラックレット(Detections)との関連付け(Association)によってトラッキングを行います。

3.コード

 コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンクをクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。

 まず、セットアップを行います。なお、この colab はオリジナル github の公式版(youtubeからダウンロードするデモ)を改造したものです。

 

  movie フォルダの中にある動画(mp4)の中から1つ選んで movie: に記入して実行します。自分の用意した動画を使う場合は、事前に movie フォルダにアップロードしておいて下さい。ここでは、movie:dance.mp4 と設定して実行します。

 踊っている3人が色分けされ、フォーメーションが変わっても、ちゃんとトラッキングされていることが分かります。なお、この動画はoutput.mp4に保存されていますので、必要に応じて手動でダウンロードして下さい。

 では、また。

(オリジナルgithub)https://github.com/brjathu/PHALP

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

日本語が含まれない投稿は無視されますのでご注意ください。(スパム対策)

ABOUTこの記事をかいた人

アバター

ディープラーニング・エンジニアを趣味でやってます。E資格ホルダー。 好きなものは、膨大な凡ショットから生まれる奇跡の1枚、右肩上がりのワクワク感、暑い国の新たな価値観、何もしない南の島、コード通りに動くチップ、完璧なハーモニー、仲間とのバンド演奏、数えきれない流れ星。