こんにちは。ネクストシステムの田中です。
突然ですが、
リアルアバターになりたくないですか？
そもそもリアルアバターとは、
現実世界の自分の姿を3Dモデル化したアバターのことです。
※実写アバターとも言ったりもしますが。
リアルアバターを作成する場合、
多くの方がカメラに360度囲まれたスタジオに赴いてスキャンしてもらうという方法で
リアルアバターを作っているのですが、なんとかこれを手軽に行うことができないものか・・・。
以前書いた記事でもご紹介しましたが、
今年から爆発的にヒットしているソーシャルVR、『VRChat』でリアルアバター勢となるために、以前弊社では人間を3Dスキャンしてアバターにする方法を色々と模索したことがあります。
結局上記の記事では、3Dスキャンではなく簡易的に人の形を3Dモデリングし、そのテクスチャとして以前撮影した全身写真の画像を上から貼り付ける方法を選択しました。
3Dスキャンじゃなくて、1枚の写真からアバター作ってるのでリアルアバター勢と言っていいかはわからないけど、 VRChatやってみました。＼( ‘ω’)／#VRChat pic.twitter.com/SpttJ82Kjk
— NEXT-SYSTEM（AR/AI/VR） (@NEXT_SYSTEM_Co) 2018年1月31日
が！！
３Dスキャンを使ったリアルアバターも作りたい〜！
この間はなかなかいい方法が見つからなかったので、代替案を使いましたが
３Dスキャンを使うという方法でも、なんとかリアルアバターになるいい方法を見つけられないものか・・・
というわけで！！
スタジオに行かずとも人間を3Dスキャンする方法を調査し結果をまとめてみました。
VRchatでリアルアバター勢となる目的だけではなく、
今後VRやMR分野に注目が集まることで、人間の姿を３Dアバターにする機会もありそうですよね。
Structure Sensorを使う
iPadに取り付けるタイプのコンパクトな3次元形状スキャナです。対応するアプリを使用することで簡単に利用することが可能！
対応アプリがいくつかあったため、実際に使用して比べてみました。
itSeez3D
綺麗にスキャンをすることができました。
非会員の場合１体書き出すのに７ドル（無償版）、または月に250ドルで月100体／1年で1200体（それを越えると１体につき4ドル）ほどお金がかかりますが、クオリティと床抜きの観点からいいますと、iPad+Structure Sensor＋itSeez3Dの組み合わせは中々良さそうです。
使い方
- StructureSensor を取り付け、itSeez3D をインストールしたiPadを用意
- itSeez3Dを起動し、アプリの指示に従って、人の全身をスキャン
・スキャンにかかる時間は2分程度
・このとき周囲に特徴点になるものが多いほうがよい(床および壁)
・このとき日光の影響を受けない場所であるほうがよい
・回り込むように移動するとき、足元を映していたほうがよい - モバイルデバイス上のスキャンデータをクラウドに送信して処理
・10分程度の時間が必要 - 電子メールまたはitSeez3D Webアカウント経由でモデルをダウンロード
・手順2で使用するソフトに対応したファイル形式である”OBJ”形式を選択する
・モデルのダウンロードは有料
・クラウド上に保存できる3Dモデルの数は無制限
・iPad上には容量に応じたモデルデータを保存可能
※クラウド上で処理させる前の状態はスキャン時間によって異なるが200~300MB,
クラウド上で処理 後は10~20MB程度のサイズでデータが保存される
調査した社員の感想としては、下記。
- 一発目に顔をとらえてから3Dスキャンをしていくタイプなので、顔が綺麗に取れる。
- 他に調査したアプリとは違い、「早く動きすぎ」などの注意が表示されないため、少し不安になるが、想像以上に綺麗に撮れていた。
スキャン結果
詳細情報
| 価格 | ・非会員は一体につき7ドル ・会員（250ドル／月）で月100体 （それを超えると1体につき4ドル） |
| 書き出し形式 | PLY、OBJ 、WRL |
| 自動床削除機能 | あり |
| URL | https://itseez3d.com/ |
| 推奨度 | ◎ |
| 備考 | ・精度を出すにはクラウドでの処理が必要(10分程度処理にかかる) ・webから書き出しとメールで送付の2パターン ・ライセンスによって書き出し時の金額が変動 |
Skanect
全体的にテクスチャーがボケてしまいました。
形はそこそこうまく取れるものが多いのですが、テクスチャーを鮮明に撮影するということが結構難しいようです。
使用感としては、スキャン中にどこまでスキャンできているかが、iPad上で表示されないため、正確にスキャンできているか撮れてるかの判断がつき辛い点が気になったとのこと。
２種類の書き出しが方法があり、VeryHighの場合クオリティをあげるためには相応のPCのスペックが要求されるようです。
スキャン結果：Midium版で書き出した場合
| 所要時間 |
|
| 推奨度 | △ |
スキャン結果：VeryHigh版で書き出した場合
| 所要時間 |
|
| 推奨度 | △ |
詳細情報
| 価格 | Pro版のライセンスが129ドル ※StructureSensor1台につき、1Proライセンス付属している |
| 書き出し形式 | PLY 、OBJ 、STL 、VRML |
| 自動床削除機能 | なし |
| 備考 |
|
Scanner
Structure Sensorを作ったOccipiatalという企業が公開している、サンプルアプリで試してみました。
使ってみた感想としては、撮影し始めに最初に写してた部分はテクスチャが綺麗に撮れているのですが、それ以外の場所はぼやけていた印象・・・。
3Dモデル出力にはEmailアドレスが必要ですが、会社のiPadにメールが設定されてなかったので、とりあえず動画で撮影してます。
スキャン結果
顔がー！！！後ろ半分のテクスチャがおかしいですね。
詳細情報
| 価格 | アプリ=無料 |
| 書き出し形式 | OBJ、STL、PLY |
| 自動床削除機能 | なし |
| URL | https://structure.io/apps |
| 備考 | ・自動床削除 ・カラーは可能だがテクスチャがかなりゆがんでいる 参考：https://www.youtube.com/watch?v=nFyT2q8f_i4 ・出力にはEメール設定必要 |
M3DScan
無料期間中に少し試してみましたがクオリティはScanerとそんなに大差なさそうな印象です。
やはり顔をしっかり鮮明に撮影することは中々ハードルが高いみたいですね。
スキャン結果
詳細情報
| 書き出し形式 | OBJ、STL、PLY |
| 自動床削除機能 | なし |
| URL | http://www.mirage-3d.com/ |
| 備考 | ・部分的もしくは全身のスキャン可能 ・カラーでのスキャン設定が可能 ・床を読み取ってしまう、テクスチャに粗 ・出力にはEメール設定必要 |
Captevia
もともと整形外科向けに作られた３Dスキャンアプリのようです。
画面上に表示される3Dアバター一覧のサムネイル画像ではカラーが付いているように見えるのですが、3Dモデルをプレビューすると色が見えなくなってしまいました。
なんでや・・・！
おそらく設定から操作できるのではないか、とのことですが、
今回は時間がなかったため、そのままとなっておりますl。
どなたか原因がわかったら教えてください。
| 所要時間 | ・スキャンに2分程度 ・処理に1分程度 |
| 推奨度 | × |
詳細情報
| 自動床削除機能 | なし |
| URL | https://www.rodin4d.com/en/ |
| 推奨度 | × |
| 備考 | ・出力はEメール設定必要（あるいはiTune） ・独自のファイル形式でしか出力できず ・床を読み取ってしまう、テクスチャが粗い ・スキャン時はカラースキャンだが、プレビュー画面でカラーで表示できず |
3DfitME, 3DsizeME
こちらも医療用の目的として開発されたスキャンアプリのようです。
fitMeとsizeMeの２種類があるみたいですが、使ってみたところいまいち違いがわからなかったそう。
Dropboxにアップができる点は便利そうですが、独自のファイル形式となっているため、
流用が難しいかもしれません。
スキャン結果
足が焼きナスみたいだなと思ったのは私だけでしょうか。
| 所要時間 | ・スキャンに2分程度 ・処理に1分程度 |
| 推奨度 | × |
詳細情報
| 書き出し形式 | imed |
| 自動床削除機能 | なし |
| URL | https://techmed3d.com/ |
| 推奨度 | × |
| 備考 | ・差異が発見できていない(発覚次第分離) ・Dropboxに出力可能 ・独自のファイル形式でしか出力できず ・床を読み取ってしまう、テクスチャが粗い |
RealSense
RealSenceD415,D435 +RecFusion
Intelが最近発売した、RealSense D415とD435。
人気すぎてまだ入手し辛いところもありますが、とてもコスパ良しなカメラです。
RealSense D415一台と、上位互換ver.のD435一台を使ってそれぞれ試してみました。
スキャン結果
強そう。なんだこのメタリック感。
RealSenseD415+RecFusion by nextsystem on Sketchfab
| 所要時間 | 3分程度 |
| 推奨度 | △ |
詳細情報
| 価格 | RecFusion=99€ RealSenseD415=24,300円 RealSenseD435=28,350円 |
| 書き出し形式 | PLY 、OBJ 、VRML、STL |
| 自動床削除機能 | なし |
| URL | https://www.recfusion.net/index.php/en |
| 備考 | ・手にrealsenseを持ちスキャン ・RecFusionは1台のセンサー用スキャンソフトウェア |
RealSenceD415×3台 +RecFusionPro
RealSenseのD415を弊社でも入手し、定点でスキャンが可能か試してみました。
３台をそれぞれ高さを変えて設置しています。
RealSense D415 3台での定点3Dスキャンお試し風景。手作り感！#リアルアバター #実写アバター pic.twitter.com/PnBQKGUlrf
— NEXT-SYSTEM（AR/AI/VR） (@NEXT_SYSTEM_Co) 2018年4月19日
スキャン結果
そこそこ綺麗に撮れている印象です。
ただ、３台定点だとマシンスペックが結構大事みたいで、下記のスペック以下だと精度が上げられずぼやっとしていた印象でした。
CPU：i7-8700K、GPU：GeForce GTX1080Ti
※出っ歯隠しのため少し口を膨らませて撮影したところ、顎が消滅しました。
| 所要時間 | 60秒～80秒程度 |
| 推奨度 | ◯ |
詳細情報
| 価格 | RecFusion Pro=499€ RealSenseD415=24,300円 RealSenseD435=28,350円 |
| 書き出し形式 | PLY 、OBJ 、VRML、STL |
| 自動床削除機能 | なし |
| URL | https://www.recfusion.net/index.php/en |
| 備考 | ・RecFusionProは複数台のセンサー用スキャンソフトウェア ・ある程度高スペックのPC(CPU：i7-8700K、GPU：GeForce GTX1080Ti）でスキャンするとある程度のクオリティのスキャンは可能 ・ターンテーブルに乗ってスキャン ・センサーは3台固定 https://twitter.com/NEXT_SYSTEM_Co/status/978557045438783489″ |
まとめ
クオリティと床抜きの観点からすると、非会員の場合１体あたり840円ほどかかりますが、
iPad+Structure Sensor＋itSeez3Dの組み合わせが良さそうです。
ランニングコストがかからない案としては、iPad+Structure Sensor＋Skanectの組み合わせですが、itSeez3Dよりクオリティが落ち、また床の自動削除機能がありません（手動で削除は可能）。
上記以外にランニングコストがかからない案としては、RealSenceD415×3台+RecFusionProの組み合わせですが、iPad+Structure Sensor＋itSeez3Dよりクオリティが落ち、
また床の自動削除機能がありません（手動で削除は可能）。
↓つまりこういうことです。↓
・クオリティ重視→iPad+Structure Sensor＋itSeez3D
・ランニングコスト重視①→iPad+Structure Sensor＋Skanect
・ランニングコスト重視②→RealSenceD415×3台+RecFusionPro
一長一短ありますが、目的に合わせて選んでいただけると良いと思います。
ネクストシステムではAI、xR（AR/VR/MR）など先端技術を利用した開発を行うソフトウェア開発会社です。引き続き弊社では、調査を行い３Dスキャン関連についても知見を溜めていけるようがんばります！
▼ネクストシステムWEBサイト
ネクストシステムへのお問い合わせはこちら
※フィジビリティスタディ：プロジェクトの実現可能性を事前に調査・検討すること
