cedro-blog

デイープラーニングのWebサービスで、動画から3Dアニメキャラを動かしてみる

1.はじめに 

 今回は、「Deepmotion」 という会社が提供している、スマホなどで撮った人の動画をアップロードすると、それと同じ様に動く3Dアニメキャラを生成してくれる、ディープラーニングを使ったWebサービスをご紹介します。

 本当に簡単に試せますので、ぜひやってみて下さい。なお、Webサービスを使用するには、PCが必要ですので準備下さい。

2.3Dアニメキャラを用意する

  mixamo というAdobe関連のサイトへ行き、無料の3Dアニメキャラをダウンロードします。

 アカウントを作ったら、「Character」タブで自分の好みのキャラクターを選び「DOWNLOAD」ボタンを押します。そうすると、***.fbx というファイルがダウンロードされます。これを後で使います。

3.動画を3Dアニメキャラに反映させる

  Deepmotionのサイトへ行き、フリートライアルのアカウントを作成したら、Animate 3D Cloud を選択します。

 すると、Select Character Type の画面になるので、「Custom」を選びます。

 次に、Add New Character の画面になるので、先程ダウンロードしたキャラクターファイル(***.fbx)をドラッグ・アンド・ドロップします。

 続いて、Select Motion Clip の画面になるので、スマホなどで撮影した動画をドラッグ・アンド・ドロップします。アップロード出来る動画の種類はMP4, MOV, AVIで、サイズは最大60秒あるいは50MBです。

 たったこれだけでOKです。後は、ディープラーニング によって、アップロードした人の動きに合わせて、アニメキャラクターが動く動画が自動的に生成されます。

 ブラウザの画面上に、奥にアップロードした動画が、手前にそれに同期して動くアニメキャラクターが表示されます。マウスで見え方をコントロールすることが出来て、スクロールボタンでズーム、画面をドラッグすると上左右に動かすことが出来ます。素晴らしい!

 作成したアニメキャラクターの動作データは、BVH, FBX, GLB の3種類のフォーマットでダウンロード出来ます。これを使えば、作成した動作データを様々な他のプラットフォームで活用出来るわけです。

 では、また。