informative drawings で、ラフスケッチを描く

1.はじめに

　今回ご紹介するのは、写真や動画をラフスケッチのように変換する informative drawings という技術です。

＊この論文は、2022.3に提出されました。

2.informative drawings とは？

　下記が、informative drawings のフロー図です。GANの枠組みの中で、画像とスケッチに関する４つのロスを最小化する形で生成器（GA）を学習させます。

　４つのロスとは、CLIPから得られる特徴ベクトルの差（Semantics）、外観の差（Appearance）、物体毎の深度の差（Geometry）、スケッチスタイルの差（Style Loss）です。

3.コード

　コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。

　まず、セットアップを行います。最近、gdownが不安定なので、エラーが出たら繰り返しトライさせるようにしています。

#@title セットアップ

# githubからコードを取得
! git clone https://github.com/cedro3/informative-drawings.git
%cd informative-drawings

# checkpointsフォルダ作成
import os
os.makedirs('checkpoints', exist_ok=True)

# 学習済みパラメータのダウンロード
! pip install --upgrade gdown
import gdown

for i in range(10):
  if os.path.isfile('model.zip'): 
    break
  else:
    gdown.download('https://drive.google.com/uc?id=11l5u5sb1PO5Z5YA3IoEHauVPm0k407C1', 'model.zip', quiet=False)
! unzip model.zip -d checkpoints

# 関数読み込み
from function import *

# downloadフォルダ作成
import os
os.makedirs('movie/download', exist_ok=True)

#@title セットアップ

# githubからコードを取得

! git clone https://github.com/cedro3/informative-drawings.git

%cd informative-drawings

# checkpointsフォルダ作成

import os

os.makedirs('checkpoints', exist_ok=True)

# 学習済みパラメータのダウンロード

! pip install --upgrade gdown

import gdown

for i in range(10):

if os.path.isfile('model.zip'):

break

else:

gdown.download('https://drive.google.com/uc?id=11l5u5sb1PO5Z5YA3IoEHauVPm0k407C1', 'model.zip', quiet=False)

! unzip model.zip -d checkpoints

# 関数読み込み

from function import *

# downloadフォルダ作成

import os

os.makedirs('movie/download', exist_ok=True)

　サンプル画像を見てみましょう。

#@title サンプル画像の表示
display_pic('examples/test')

1 2	#@title サンプル画像の表示 display_pic('examples/test')

　まず、サンプル画像をまとめて線画（anime_style）に変換してみましょう。結果は、results/anime_style フォルダに保存されます。

#@title スケッチ変換（anime_style）
! python test.py --name anime_style --dataroot examples/test
display_pic('results/anime_style')

#@title スケッチ変換（anime_style）

! python test.py --name anime_style --dataroot examples/test

display_pic('results/anime_style')

　次に、サンプル画像をまとめてラフスケッチ（opensketch_style）に変換してみましょう。結果は、results/opensketch_style フォルダに保存されます。

#@title スケッチ変換（opensketch_style）
! python test.py --name opensketch_style --dataroot examples/test
display_pic('results/opensketch_style')

#@title スケッチ変換（opensketch_style）

! python test.py --name opensketch_style --dataroot examples/test

display_pic('results/opensketch_style')

　今度は、ビデオをラフスケッチに変換してみましょう。videoに、movie/videoフォルダにあるファイルを指定して実行します。

　自分のビデオ（mp4の音声付き）を使用したい場合は、movie/videoフォルダにアップロードして下さい。なお、ビデオの容量が大きいと最後の動画再生のところでクラッシュすることがありますので、ご注意ください。

#@title ビデオからスケッチ動画（opensketch_style）

# --- ビデオを静止画にバラす ---
video = '01.mp4' #@param {type:"string"}
video_file = 'movie/video/'+video

import os
import shutil
import cv2

# 出力フォルダーリセット
reset_folder('movie/images')
 
def video_2_images(video_file= video_file,   # ビデオの指定
                   image_dir='movie/images/', 
                   image_file='%s.jpg'):  

    # Initial setting
    i = 0
    interval = 1
    length = 3000  # 最大フレーム数
    
    cap = cv2.VideoCapture(video_file)
    fps = cap.get(cv2.CAP_PROP_FPS)  # fps取得

    while(cap.isOpened()):
        flag, frame = cap.read()  
        if flag == False:  
                break
        if i == length*interval:
                break
        if i % interval == 0:    
           cv2.imwrite(image_dir+image_file % str(int(i/interval)).zfill(6), frame)
        i += 1 
    cap.release()
    return fps, i, interval
 
fps, i, interval = video_2_images()

print('fps = ', fps)
print('frames = ', i)
print('interval = ', interval)


# --- 静止画をスケッチに変換 ---
# 出力フォルダーリセット
reset_folder('movie/sketch/opensketch_style')

# スケッチ変換
! python test.py --name opensketch_style\
                 --dataroot movie/images\
                 --results_dir movie/sketch\
                 --how_many 3000\
                 --size 512


# --- 静止画とスケッチの連結 ---
print('concating image & sketch...')
import os
import cv2
import glob

# 出力フォルダーリセット
reset_folder('movie/frame')

files1 = sorted(glob.glob('movie/images/*.jpg'))
files2 = sorted(glob.glob('movie/sketch/opensketch_style/*.png'))
cnt = 0
for file1, file2 in zip(files1, files2):
  img1 = cv2.imread(file1)
  img2 = cv2.imread(file2)

  # スケッチのサイズを静止画にリサイズ
  height, width, channels = img1.shape[:3]
  img2 = cv2.resize(img2, dsize=(width, height))

  # スケッチと静止画を連結して保存
  img = cv2.vconcat([img2, img1])
  name = os.path.basename(file2)
  cv2.imwrite('movie/frame/'+str(cnt).zfill(6)+'.jpg', img)
  cnt +=1


# --- 動画の作成 ---
# 動画の作成
print('makeing movie...')
! ffmpeg -y -r $fps -i movie/frame/%06d.jpg -vcodec libx264 -pix_fmt yuv420p -loglevel error out.mp4

# 音声の抽出・付加
print('preparation for sound...')
! ffmpeg -y -i $video_file -loglevel error sound.mp3
! ffmpeg -y -i out.mp4 -i sound.mp3 -loglevel error output.mp4

# 動画の再生
print('waiting for play movie...')
display_mp4('output.mp4')

#@title ビデオからスケッチ動画（opensketch_style）

# --- ビデオを静止画にバラす ---

video = '01.mp4' #@param {type:"string"}

video_file = 'movie/video/'+video

import os

import shutil

import cv2

# 出力フォルダーリセット

reset_folder('movie/images')

def video_2_images(video_file= video_file, # ビデオの指定

image_dir='movie/images/',

image_file='%s.jpg'):

# Initial setting

i = 0

interval = 1

length = 3000 # 最大フレーム数

cap = cv2.VideoCapture(video_file)

fps = cap.get(cv2.CAP_PROP_FPS) # fps取得

while(cap.isOpened()):

flag, frame = cap.read()

if flag == False:

break

if i == length*interval:

break

if i % interval == 0:

cv2.imwrite(image_dir+image_file % str(int(i/interval)).zfill(6), frame)

i += 1

cap.release()

return fps, i, interval

fps, i, interval = video_2_images()

print('fps = ', fps)

print('frames = ', i)

print('interval = ', interval)

# --- 静止画をスケッチに変換 ---

# 出力フォルダーリセット

reset_folder('movie/sketch/opensketch_style')

# スケッチ変換

! python test.py --name opensketch_style\

--dataroot movie/images\

--results_dir movie/sketch\

--how_many 3000\

--size 512

# --- 静止画とスケッチの連結 ---

print('concating image & sketch...')

import os

import cv2

import glob

# 出力フォルダーリセット

reset_folder('movie/frame')

files1 = sorted(glob.glob('movie/images/*.jpg'))

files2 = sorted(glob.glob('movie/sketch/opensketch_style/*.png'))

cnt = 0

for file1, file2 in zip(files1, files2):

img1 = cv2.imread(file1)

img2 = cv2.imread(file2)

# スケッチのサイズを静止画にリサイズ

height, width, channels = img1.shape[:3]

img2 = cv2.resize(img2, dsize=(width, height))

# スケッチと静止画を連結して保存

img = cv2.vconcat([img2, img1])

name = os.path.basename(file2)

cv2.imwrite('movie/frame/'+str(cnt).zfill(6)+'.jpg', img)

cnt +=1

# --- 動画の作成 ---

# 動画の作成

print('makeing movie...')

! ffmpeg -y -r $fps -i movie/frame/%06d.jpg -vcodec libx264 -pix_fmt yuv420p -loglevel error out.mp4

# 音声の抽出・付加

print('preparation for sound...')

! ffmpeg -y -i $video_file -loglevel error sound.mp3

! ffmpeg -y -i out.mp4 -i sound.mp3 -loglevel error output.mp4

# 動画の再生

print('waiting for play movie...')

display_mp4('output.mp4')

　動画は、下記でダウンロードできます（google chrome用です）。

#@title 動画のダウンロード

import os
import shutil

download_name = 'movie/download/'+os.path.splitext(video)[0]+'_out.mp4'
shutil.copy('output.mp4', download_name)

from google.colab import files
files.download(download_name)

#@title 動画のダウンロード

import os

import shutil

download_name = 'movie/download/'+os.path.splitext(video)[0]+'_out.mp4'

shutil.copy('output.mp4', download_name)

from google.colab import files

files.download(download_name)

　では、また。

（オリジナルgithub）https://github.com/carolineec/informative-drawings

（twitter投稿）

informative drawings で、ビデオをラフスケッチ風に変換してみる

ブログ：https://t.co/MJclQP53eC pic.twitter.com/2FQ0i8fbyL
— cedro (@jun40vn) April 6, 2022

informative drawingsで、ラフスケッチの人に「ダイナマイト」を踊ってもらう

ブログ：https://t.co/MJclQPmEDc pic.twitter.com/dwuNzm6ywQ
— cedro (@jun40vn) May 18, 2022

informative drawings で、ガッキーをラフスケッチにしてみる

ブログ：https://t.co/MJclQPncsK pic.twitter.com/XypafVWCfl
— cedro (@jun40vn) June 1, 2022

informative drawings で、ラフスケッチを描く

1.はじめに

2.informative drawings とは？

3.コード

コメントを残すコメントをキャンセル

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Animate Anyoneで、１枚の画像から動画を生成する

SVDで静止画から動画を生成する

DiffMorpherを使って、拡散モデルでモーフィングを行う

Domo AIで、実写動画をアニメ化する

最近の投稿

最近のコメント

アーカイブ

カテゴリー

メタ情報

1.はじめに

2.informative drawings とは？

3.コード

コメントを残す コメントをキャンセル

RECOMMENDこちらの記事も人気です。

img2musicで、画像から音楽を生成する

Toonify Youeselfで自分の顔をリアルなアニメ顔に変換する

Instruct-pix2pixで、画像を文で編集する

Paint Transformerで、高速に１枚の画像から油絵を描く

PyTorch 新たなクラスの物体検出をSSDでやってみる

One Shot Talking Face を使って音声で顔画像を動かす

SONY Neural Network Console でメガネ女子のメ…

Live Speech Portraits で音声から顔画像を動かす

ABOUTこの記事をかいた人

NEW POSTこのライターの最新記事

Animate Anyoneで、１枚の画像から動画を生成する

SVDで静止画から動画を生成する

DiffMorpherを使って、拡散モデルでモーフィングを行う

Domo AIで、実写動画をアニメ化する

最近の投稿

最近のコメント

アーカイブ

カテゴリー

メタ情報

コメントを残すコメントをキャンセル