1.はじめに
今回は、「Deepmotion」 という会社が提供している、スマホなどで撮った人の動画をアップロードすると、それと同じ様に動く3Dアニメキャラを生成してくれる、ディープラーニングを使ったWebサービスをご紹介します。
本当に簡単に試せますので、ぜひやってみて下さい。なお、Webサービスを使用するには、PCが必要ですので準備下さい。
2.3Dアニメキャラを用意する
mixamo というAdobe関連のサイトへ行き、無料の3Dアニメキャラをダウンロードします。
アカウントを作ったら、「Character」タブで自分の好みのキャラクターを選び「DOWNLOAD」ボタンを押します。そうすると、＊＊＊.fbx というファイルがダウンロードされます。これを後で使います。
3.動画を3Dアニメキャラに反映させる
Deepmotionのサイトへ行き、フリートライアルのアカウントを作成したら、Animate ３D Cloud を選択します。
すると、Select Character Type の画面になるので、「Custom」を選びます。
次に、Add New Character の画面になるので、先程ダウンロードしたキャラクターファイル（＊＊＊.fbx）をドラッグ・アンド・ドロップします。
続いて、Select Motion Clip の画面になるので、スマホなどで撮影した動画をドラッグ・アンド・ドロップします。アップロード出来る動画の種類はMP4, MOV, AVIで、サイズは最大60秒あるいは50MBです。
たったこれだけでOKです。後は、ディープラーニング によって、アップロードした人の動きに合わせて、アニメキャラクターが動く動画が自動的に生成されます。
ブラウザの画面上に、奥にアップロードした動画が、手前にそれに同期して動くアニメキャラクターが表示されます。マウスで見え方をコントロールすることが出来て、スクロールボタンでズーム、画面をドラッグすると上左右に動かすことが出来ます。素晴らしい！
作成したアニメキャラクターの動作データは、BVH, FBX, GLB の3種類のフォーマットでダウンロード出来ます。これを使えば、作成した動作データを様々な他のプラットフォームで活用出来るわけです。
では、また。