3DCG AI 機能紹介

【PIFu】1枚の画像から人物の3Dオブジェクトを生成する深層学習コードがMITライセンスで公開

3DCG
- Sponsor Rink -

2019年に話題となっていた、1枚の画像から人物の3Dオブジェクトを生成する「PIFu」がMITライセンスで公開されました

PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization (ICCV 2019)
PIFuの紹介映像

PIFuについて詳しくはこちらのプロジェクトページをご確認ください:

PIFu

さっそく私もテストしてみました

すごいですね!

イラストでもなかなかの精度で3Dオブジェクトにしてくれます!

ただし、情報量が少なすぎると破綻してしまうようです…

PIFuの商用利用については別途お問い合わせが必要なようです。
詳しくはGitHubの「READEME.md」をご確認ください

ダウンロードはこちら:

shunsukesaito/PIFu
This repository contains the code for the paper "PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization" - shunsukesaito/PIFu

PIFuをテストするまでのやり方

GitHubやプログラムに慣れていないとテストするまでも一苦労だと思うので、簡単に導入方法を紹介していきます

私も知識が豊富ではないので、おかしなところがあるかもしれませんがご了承ください

PIFuをダウンロードする

下記サイトの「Clone or download」→「Download ZIP」からPIFuをダウンロードします

shunsukesaito/PIFu
This repository contains the code for the paper "PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization" - shunsukesaito/PIFu

PIFuに必要なものをインストールする

今回は Windows 64bit環境を例に進めていきます

まず、PIFuを動かす為に下記をインストールします

  • busybox
  • Python 3
  • PyTorch
  • PIL
  • skimage
  • tqdm
  • opencv-python

一見多いですが、インストールにそれほど時間はかかりません


「busybox」はwindowsでシェルスクリプト(.sh)を実行するために必要です。 まずは下記サイトにアクセスします

busybox-w32

ページ中ほどにある「busybox64.exe」(32bit環境の場合は「busybox.exe」)をクリックしてダウンロードします


「Python 3」はプログラムの大元ですね。まずは下記サイトにアクセスします

Welcome to Python.org
The official home of the Python Programming Language

「ダウンロード」→「Windows」 をクリックします

「Latest Python 3 Release – Python 3.8.2」をクリックします


残りはPythonのライブラリなので、コマンドプロンプトからダウンロードすることができます

コマンドプロンプトを立ち上げ、下記を実行します

pip install Pillow
pip install scikit-image
pip install tqdm
pip install opencv-python
pip install torch===1.4.0 torchvision===0.5.0 -f https://download.pytorch.org/whl/torch_stable.html

PIFuを使ってみる

まずはコマンドプロンプトを立ち上げて「busybox」を起動します

「busybox64.exe」のおいてあるフォルダまでコマンドプロンプトのディレクトリを移動します

※コマンドプロンプトを起動した直後だと、ディレクトリは自身のユーザーフォルダになっていると思います

例えば、ダウンロードフォルダに「busybox64.exe」がある場合、

cd Downloads

1階層上に移動する場合は、

cd ..

ディレクトリが移動できたら以下を実行します

busybox64.exe sh -l

これで「busybox」を起動でき、コマンドプロンプトの表示が $ となっているはずです


次に、PIFuのディレクトリまで、cd を使って移動します
※現在のディレクトリは自身のユーザーフォルダになっていると思います

ディレクトリが移動できたら以下を実行します

sh ./scripts/download_trained_model.sh

必要なデータのダウンロードが始まるので、完了するまで待ちます


ダウンロードが終わったら以下を実行することで、画像から3Dオブジェクトを生成できます
※画像はPIFuフォルダ内の sample_images に入れます

sh ./scripts/test.sh

数分で処理が終わり、PIFuフォルダ内に「results」フォルダが作成され、その中に.objが出力されます

一通りの流れは以上となります。お疲れさまでした

リンク

Sketchfab – Publish & find 3D models online