AI（人工知能） 2020.12.28 2021.05.27 cedro

MediaPipeで、顔・手・ポーズのリアルタイム検出を行う

1.はじめに

　ちょっと前まで、顔・手・ポーズのリアルタイム検出をしようと思ったら高性能なGPUを積んだPCが必要でしたが、今回はこれらをCPUだけでも行える MediaPipe をご紹介します。

2.MediaPipeとは？

　MediaPipieは、Googleが提供しているライブメディアやストリーミングメディア向けのMLソリューションで、以下の特徴があります。

高速なエンドツーエンド処理：一般的なハードウェアでも高速化されたML推論と処理を実現
様々なプラットフォームで使用可能：Android、iOS、C++、Pythonに対応
無料のオープンソース： Apache 2.0で、拡張やカスタマイズが可能

　現在、4つのプラットフォームで、15種類のソリューションを提供されています。今回はその中から、Pythonプラットフォームの、顔検出、手検出、ポーズ検出、ホリスティック検出（顔・手・ポーズの統合検出）についてご紹介します。

3.コード（動画から検出）

　最初のデモはオジサンより、女優やダンサーの方が見ていて楽しいと思うので、あえて動画からホリスティック検出（顔・手・ポーズの統合検出）をやってみます。

　コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。なお、GPUは使っていません。

　まず、セットアップを行います。

# ライブラリーのインストール
!pip install numpy==1.19.3
!pip install mediapipe

# github からコードをコピー
!git clone https://github.com/cedro3/mediapipe.git
%cd mediapipe/

# ライブラリーのインストール

!pip install numpy==1.19.3

!pip install mediapipe

# github からコードをコピー

!git clone https://github.com/cedro3/mediapipe.git

%cd mediapipe/

# 初期設定
import mediapipe as mp
mp_holistic = mp.solutions.holistic

# Initialize MediaPipe Holistic.
holistic = mp_holistic.Holistic(
    static_image_mode=True, min_detection_confidence=0.5)

# Prepare DrawingSpec for drawing the face landmarks later.
mp_drawing = mp.solutions.drawing_utils 
drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1)

# 初期設定

import mediapipe as mp

mp_holistic = mp.solutions.holistic

# Initialize MediaPipe Holistic.

holistic = mp_holistic.Holistic(

static_image_mode=True, min_detection_confidence=0.5)

# Prepare DrawingSpec for drawing the face landmarks later.

mp_drawing = mp.solutions.drawing_utils

drawing_spec = mp_drawing.DrawingSpec(thickness=1, circle_radius=1)

　次に、サンプル動画を読み込み静止画に分解し、imagesフォルダーに保管します。既にimages フォルダーがある場合（2回目以降）は、既にあるフォルダーを一旦削除してから処理を開始します。

　ご自分の動画を使いたい場合は、その動画をPCから./mediappipe/video にドラッグ＆ドロップでアップロードし、video_path = ‘./video/＊＊＊.mp4 の＊＊＊.mp4 をご自分で用意されたファイル名に変更すればOKです。

# ビデオの指定
video_path = './video/satomi.mp4'

1 2	# ビデオの指定 video_path = './video/satomi.mp4'

# video2images
import os
import shutil
import cv2

# 既にimagesフォルダーがあれば削除
if os.path.isdir('images'):
    shutil.rmtree('images')

os.makedirs('images', exist_ok=True)
 
def video_2_images(video_file= video_path,   
                   image_dir='./images/', 
                   image_file='%s.png'):
 
    # Initial setting
    i = 0
    interval = 3
    length = 300
    
    cap = cv2.VideoCapture(video_file)
    while(cap.isOpened()):
        flag, frame = cap.read()  
        if flag == False:  
                break
        if i == length*interval:
                break
        if i % interval == 0:    
           cv2.imwrite(image_dir+image_file % str(int(i/interval)).zfill(6), frame)
        i += 1 
    cap.release()  
 
def main():
    video_2_images()

# video2images

import os

import shutil

import cv2

# 既にimagesフォルダーがあれば削除

if os.path.isdir('images'):

shutil.rmtree('images')

os.makedirs('images', exist_ok=True)

def video_2_images(video_file= video_path,

image_dir='./images/',

image_file='%s.png'):

# Initial setting

i = 0

interval = 3

length = 300

cap = cv2.VideoCapture(video_file)

while(cap.isOpened()):

flag, frame = cap.read()

if flag == False:

break

if i == length*interval:

break

if i % interval == 0:

cv2.imwrite(image_dir+image_file % str(int(i/interval)).zfill(6), frame)

i += 1

cap.release()

def main():

video_2_images()

　そして、MediaPipeを使って、images フォルダーの中にある静止画から顔・手・ポーズを検出し、結果を上書きして行きます。

import cv2
from google.colab.patches import cv2_imshow
import numpy as np
import glob

# image file names to files in list format
files=[]
for name in sorted(glob.glob('./images/*.png')):
    files.append(name)

# Read images with OpenCV.
images = {name: cv2.imread(name) for name in files}

for name, image in images.items():
  # Convert the BGR image to RGB and process it with MediaPipe Pose.
  results = holistic.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))

  # Draw pose landmarks.
  annotated_image = image.copy()
  mp_drawing.draw_landmarks(annotated_image, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS)
  mp_drawing.draw_landmarks(annotated_image, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS)
  mp_drawing.draw_landmarks(
      image=annotated_image, 
      landmark_list=results.face_landmarks, 
      connections=mp_holistic.FACE_CONNECTIONS,
      landmark_drawing_spec=drawing_spec,
      connection_drawing_spec=drawing_spec)
  mp_drawing.draw_landmarks(
      image=annotated_image, 
      landmark_list=results.pose_landmarks, 
      connections=mp_holistic.POSE_CONNECTIONS,
      landmark_drawing_spec=drawing_spec,
      connection_drawing_spec=drawing_spec)
  cv2.imwrite(name, annotated_image)

import cv2

from google.colab.patches import cv2_imshow

import numpy as np

import glob

# image file names to files in list format

files=[]

for name in sorted(glob.glob('./images/*.png')):

files.append(name)

# Read images with OpenCV.

images = {name: cv2.imread(name) for name in files}

for name, image in images.items():

# Convert the BGR image to RGB and process it with MediaPipe Pose.

results = holistic.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))

# Draw pose landmarks.

annotated_image = image.copy()

mp_drawing.draw_landmarks(annotated_image, results.left_hand_landmarks, mp_holistic.HAND_CONNECTIONS)

mp_drawing.draw_landmarks(annotated_image, results.right_hand_landmarks, mp_holistic.HAND_CONNECTIONS)

mp_drawing.draw_landmarks(

image=annotated_image,

landmark_list=results.face_landmarks,

connections=mp_holistic.FACE_CONNECTIONS,

landmark_drawing_spec=drawing_spec,

connection_drawing_spec=drawing_spec)

mp_drawing.draw_landmarks(

image=annotated_image,

landmark_list=results.pose_landmarks,

connections=mp_holistic.POSE_CONNECTIONS,

landmark_drawing_spec=drawing_spec,

connection_drawing_spec=drawing_spec)

cv2.imwrite(name, annotated_image)

　最後に、images フォルダーの中にある検出結果を読み込んでmp4動画を作成します。

# 既に output.mp4 があれば削除
import os
if os.path.exists('./output.mp4'):
   os.remove('./output.mp4')

! ffmpeg -r 10 -i images/%6d.png\
               -vcodec libx264 -pix_fmt yuv420p output.mp4

# 既に output.mp4 があれば削除

import os

if os.path.exists('./output.mp4'):

os.remove('./output.mp4')

! ffmpeg -r 10 -i images/%6d.png\

-vcodec libx264 -pix_fmt yuv420p output.mp4

# --- mp4動画の再生 ---
from IPython.display import HTML
from base64 import b64encode

mp4 = open('./output.mp4', 'rb').read()
data_url = 'data:video/mp4;base64,' + b64encode(mp4).decode()
HTML(f"""
<video width="85%" height="85%" controls>
      <source src="{data_url}" type="video/mp4">
</video>""")

# --- mp4動画の再生 ---

from IPython.display import HTML

from base64 import b64encode

mp4 = open('./output.mp4', 'rb').read()

data_url = 'data:video/mp4;base64,' + b64encode(mp4).decode()

HTML(f"""

</video>""")

　顔と手は、かなり細かい検出がされていることが分かります。写っている範囲が狭いので、ポーズは肩の線のみ見えています。作成したmp4動画は、左側のファイル欄にある ./mediapipe/output.mp4 を右クリックするとダウンロードできます。

　ビデオ指定のところを、video_path = ‘./video/mana.mp4’ に変更して、それ以降のコードを実行すると、

　上半身が写ると、ポーズも検出していることが分かります。シングルパーソン用のため、より大きく写っている人物を優先して検出するので、後ろの男性は検出されません。

　ビデオ指定のところを、video_path = ‘./video/dance.mp4’ に変更して、それ以降のコードを実行すると、

　全身を写した場合の検出例です。一時的に右手の検出が外れますが、まずまずではないでしょうか。

4.コード（PCのカメラから検出）

※ご注意

　以下のコードは、google colabでは動作しません。ご自分のPCに、このリンクを参考にJupyter Notebookをインストールして実行して下さい。また、Git(コードをコピーするライブラリー)をインストールしてなければ、このリンクを参考に合わせてインストールして下さい。

　いよいよ、メインのリアルタイム検出です。カメラ付きのPCで Jupyter Nootbook を開いて、適当なフォルダーに移動し、下記のコードを実行します。GPUは不要です。

# MediaPipeをインストール
!pip install mediapipe

# Gitgub からコードをコピー
!git clone https://github.com/cedro3/mediapipe.git
%cd mediapipe/

# MediaPipeをインストール

!pip install mediapipe

# Gitgub からコードをコピー

!git clone https://github.com/cedro3/mediapipe.git

%cd mediapipe/

　ホリスティック検出（顔・手・ポーズの統合検出）をする場合は、下記のコードを実行するだけです。左上にFPSが表示されています。私のPCは3年前に買った MacbookAir ですが、それでも10FPSくらい出ます。凄い！

!python sample_holistic.py

1	!python sample_holistic.py

　顔の検出をする場合は、下記のコードを実行します。顔だけだと、20〜30FPSくらいでしょうか。

!python sample_face.py

1	!python sample_face.py

　手の検出をする場合は、下記のコードを実行します。手だけだと、15FPSくらいでしょうか。

!python sample_hand.py

1	!python sample_hand.py

　ポーズの検出をする場合は、下記のコードを実行します。ポーズだけだと、15FPSくらいでしょうか。

!python sample_pose.py

1	!python sample_pose.py

　MediaPipeの狙いはエッジデバイスでの検出です。特に、スマホで、顔・手・ポーズなどの検出を使って色々な応用が出来そうですね。

　では、また。

（Googleオリジナル） https://mediapipe.dev/index.html

（Githubオリジナル）https://github.com/Kazuhito00/mediapipe-python-sample

（Twitter投稿）

ディープラーニングで、動画から顔・手・ポーズの検出をやってみる

ブログ：https://t.co/R8mcOvL3zf pic.twitter.com/bdqH65B0pM
— cedro (@jun40vn) April 7, 2021

11 件のコメント

%cd mediapipe/ の後、!python sample_holistic.py
を実行したが、何も表示されません。他の3つも同じです。webカメラのライトが正常なら2つ点灯するのですが、最初から点灯している1つしか点灯していません。

MediaPipeで、顔・手・ポーズのリアルタイム検出を行う

1.はじめに

2.MediaPipeとは？

3.コード（動画から検出）

4.コード（PCのカメラから検出）

11 件のコメント

コメントを残すコメントをキャンセル

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Texfomerで、１枚の人物画像から３Dテクスチャを推定する

DLFSで、人間の年齢による顔の変化をシミュレーションする

StyleGAN2を使って、心理学の「平均顔」を深掘りする

StyleGANを使った画像編集をReStyleで高精度化・高速化する

最近の投稿

最近のコメント

アーカイブ

カテゴリー

メタ情報

1.はじめに

2.MediaPipeとは？

3.コード（動画から検出）

4.コード（PCのカメラから検出）

11 件のコメント

コメントを残す コメントをキャンセル

RECOMMENDこちらの記事も人気です。

Keras LSTMでサクッと文章生成をしてみる

StyleGAN2を使って顔画像の編集をやってみる

StyleGAN2で、アラベスク模様を生成する

SONY Neural Network Console で、顔画像生成に…

MASK R-CNNで、画像から物体を検出し、形を推定する

YolactEdgeで、高速に画像から物体を検出し、形を推定する

SONY Neural Network Consoleで女性の顔のクラス…

OpenAI Gym で強化学習をやってみる

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Texfomerで、１枚の人物画像から３Dテクスチャを推定する

DLFSで、人間の年齢による顔の変化をシミュレーションする

StyleGAN2を使って、心理学の「平均顔」を深掘りする

StyleGANを使った画像編集をReStyleで高精度化・高速化する

最近の投稿

最近のコメント

アーカイブ

カテゴリー

メタ情報

コメントを残すコメントをキャンセル