1.はじめに
今回ご紹介するのは、写真や動画をラフスケッチのように変換する informative drawings という技術です。
*この論文は、2022.3に提出されました。
2.informative drawings とは?
下記が、informative drawings のフロー図です。GANの枠組みの中で、画像とスケッチに関する4つのロスを最小化する形で生成器(GA)を学習させます。
4つのロスとは、CLIPから得られる特徴ベクトルの差(Semantics)、外観の差(Appearance)、物体毎の深度の差(Geometry)、スケッチスタイルの差(Style Loss)です。

3.コード
コードはGoogle Colabで動かす形にしてGithubに上げてありますので、それに沿って説明して行きます。自分で動かしてみたい方は、この「リンク」をクリックし表示されたノートブックの先頭にある「Colab on Web」ボタンをクリックすると動かせます。
まず、セットアップを行います。最近、gdownが不安定なので、エラーが出たら繰り返しトライさせるようにしています。
サンプル画像を見てみましょう。

まず、サンプル画像をまとめて線画(anime_style)に変換してみましょう。結果は、results/anime_style フォルダに保存されます。

次に、サンプル画像をまとめてラフスケッチ(opensketch_style)に変換してみましょう。結果は、results/opensketch_style フォルダに保存されます。

今度は、ビデオをラフスケッチに変換してみましょう。videoに、movie/videoフォルダにあるファイルを指定して実行します。
自分のビデオ(mp4の音声付き)を使用したい場合は、movie/videoフォルダにアップロードして下さい。なお、ビデオの容量が大きいと最後の動画再生のところでクラッシュすることがありますので、ご注意ください。
動画は、下記でダウンロードできます(google chrome用です)。
では、また。
(オリジナルgithub)https://github.com/carolineec/informative-drawings
(twitter投稿)
コメントを残す