【リアルアバター】人間を3Dスキャンして3Dモデルにする方法を調査検討したのでまとめました

こんにちは。ネクストシステムの田中です。

突然ですが、

リアルアバターになりたくないですか？

そもそもリアルアバターとは、
現実世界の自分の姿を3Dモデル化したアバターのことです。
※実写アバターとも言ったりもしますが。

リアルアバターを作成する場合、
多くの方がカメラに360度囲まれたスタジオに赴いてスキャンしてもらうという方法で
リアルアバターを作っているのですが、なんとかこれを手軽に行うことができないものか・・・。

以前書いた記事でもご紹介しましたが、
今年から爆発的にヒットしているソーシャルVR、『VRChat』でリアルアバター勢となるために、以前弊社では人間を3Dスキャンしてアバターにする方法を色々と模索したことがあります。

リアルアバターを作ってVRChatで遊ぶために試行錯誤した話

最近はやりのVRChatでリアルアバター勢になるために、スタジオにスキャンしにいくのは大変なので何か別の方法でリアルアバター勢になれないか、試行錯誤してみた話をブログにしてみました。

www.next-system.com

2018-02-16 09:43

結局上記の記事では、3Dスキャンではなく簡易的に人の形を3Dモデリングし、そのテクスチャとして以前撮影した全身写真の画像を上から貼り付ける方法を選択しました。

3Dスキャンじゃなくて、1枚の写真からアバター作ってるのでリアルアバター勢と言っていいかはわからないけど、 VRChatやってみました。＼( ‘ω’)／#VRChat pic.twitter.com/SpttJ82Kjk

— NEXT-SYSTEM（AR/AI/VR） (@next_kinesys) 2018年1月31日

が！！

３Dスキャンを使ったリアルアバターも作りたい〜！

この間はなかなかいい方法が見つからなかったので、代替案を使いましたが
３Dスキャンを使うという方法でも、なんとかリアルアバターになるいい方法を見つけられないものか・・・

というわけで！！

スタジオに行かずとも人間を3Dスキャンする方法を調査し結果をまとめてみました。

VRchatでリアルアバター勢となる目的だけではなく、
今後VRやMR分野に注目が集まることで、人間の姿を３Dアバターにする機会もありそうですよね。

Structure Sensorを使う

iPadに取り付けるタイプのコンパクトな3次元形状スキャナです。対応するアプリを使用することで簡単に利用することが可能！

Structure - The World's Leading Healthcare 3D Scanning Platform

With the Structure Sensor, the future is in your hands. Rapid 3D scanning of objects and people, 3D maps of interior spaces, and mixed reality experiences where...

structure.io

対応アプリがいくつかあったため、実際に使用して比べてみました。

itSeez3D

綺麗にスキャンをすることができました。

非会員の場合１体書き出すのに７ドル（無償版）、または月に250ドルで月100体／1年で1200体（それを越えると１体につき4ドル）ほどお金がかかりますが、クオリティと床抜きの観点からいいますと、iPad+Structure Sensor＋itSeez3Dの組み合わせは中々良さそうです。

使い方

StructureSensor を取り付け、itSeez3D をインストールしたiPadを用意
itSeez3Dを起動し、アプリの指示に従って、人の全身をスキャン
・スキャンにかかる時間は2分程度
・このとき周囲に特徴点になるものが多いほうがよい(床および壁)
・このとき日光の影響を受けない場所であるほうがよい
・回り込むように移動するとき、足元を映していたほうがよい
モバイルデバイス上のスキャンデータをクラウドに送信して処理
・10分程度の時間が必要
電子メールまたはitSeez3D Webアカウント経由でモデルをダウンロード
・手順2で使用するソフトに対応したファイル形式である”OBJ”形式を選択する
・モデルのダウンロードは有料
・クラウド上に保存できる3Dモデルの数は無制限
・iPad上には容量に応じたモデルデータを保存可能
※クラウド上で処理させる前の状態はスキャン時間によって異なるが200~300MB,
クラウド上で処理後は10~20MB程度のサイズでデータが保存される

調査した社員の感想としては、下記。

一発目に顔をとらえてから3Dスキャンをしていくタイプなので、顔が綺麗に取れる。
他に調査したアプリとは違い、「早く動きすぎ」などの注意が表示されないため、少し不安になるが、想像以上に綺麗に撮れていた。

スキャン結果

股部分の撮り方がちょっと甘かったみたいですが、気をつけて撮れば綺麗になります。

ItSeez3D + structure sensor (Full body) by nextsystem on Sketchfab

詳細情報

価格	・非会員は一体につき7ドル・会員（250ドル／月）で月100体（それを超えると1体につき4ドル）
書き出し形式	PLY、OBJ 、WRL
自動床削除機能	あり
URL	https://itseez3d.com/
推奨度	◎
備考	・精度を出すにはクラウドでの処理が必要(10分程度処理にかかる) ・webから書き出しとメールで送付の2パターン・ライセンスによって書き出し時の金額が変動

Skanect

全体的にテクスチャーがボケてしまいました。
形はそこそこうまく取れるものが多いのですが、テクスチャーを鮮明に撮影するということが結構難しいようです。

使用感としては、スキャン中にどこまでスキャンできているかが、iPad上で表示されないため、正確にスキャンできているか撮れてるかの判断がつき辛い点が気になったとのこと。

２種類の書き出しが方法があり、VeryHighの場合クオリティをあげるためには相応のPCのスペックが要求されるようです。

スキャン結果：Midium版で書き出した場合

全体的にぼやっとしています。

Structure Sensor + SKANECT by nextsystem on Sketchfab

所要時間	キャリブレーションにかかる時間：約２分スキャン：約３分処理／書き出し：約４分
推奨度	△

スキャン結果：VeryHigh版で書き出した場合

Midium版よりくっきりしています。だいたい撮れているように思いますが、テクスチャのボーダーが少しスイカのようにジャギジャギしているように見えます。

Structure Sensor + Scanekt:Very High by nextsystem on Sketchfab

所要時間	キャリブレーション：約２分スキャン：約３分処理／書き出し：約18分
推奨度	△

詳細情報

価格	Pro版のライセンスが129ドル ※StructureSensor1台につき、1Proライセンス付属している
書き出し形式	PLY 、OBJ 、STL 、VRML
自動床削除機能	なし
備考	Windows、macで動作 ipadからPCへWifiでストリーミング itSeez3Dに比べるとモニタを見ながらなのでスキャンしづらい無償で書き出し可能・初めての場合のみ、Structure Sensor Calibratorアプリで　キャリブレーションを行うことが必要無料版での書き出しは5000面まで Proライセンスでこの制限撤廃（スキャンURLはPro版の結果）解像度の設定によって精度に違いが出るが、処理にかかる時間も異なる・手動床削除可能

Scanner

Structure Sensorを作ったOccipiatalという企業が公開している、サンプルアプリで試してみました。

使ってみた感想としては、撮影し始めに最初に写してた部分はテクスチャが綺麗に撮れているのですが、それ以外の場所はぼやけていた印象・・・。

3Dモデル出力にはEmailアドレスが必要ですが、会社のiPadにメールが設定されてなかったので、とりあえず動画で撮影してます。

スキャン結果

顔がー！！！後ろ半分のテクスチャがおかしいですね。

詳細情報

価格	アプリ=無料
書き出し形式	OBJ、STL、PLY
自動床削除機能	なし
URL	https://structure.io/apps
備考	・自動床削除・カラーは可能だがテクスチャがかなりゆがんでいる参考：https://www.youtube.com/watch?v=nFyT2q8f_i4 ・出力にはEメール設定必要

M3DScan

無料期間中に少し試してみましたがクオリティはScanerとそんなに大差なさそうな印象です。

やはり顔をしっかり鮮明に撮影することは中々ハードルが高いみたいですね。

スキャン結果

詳細情報

書き出し形式	OBJ、STL、PLY
自動床削除機能	なし
URL	http://www.mirage-3d.com/
備考	・部分的もしくは全身のスキャン可能・カラーでのスキャン設定が可能・床を読み取ってしまう、テクスチャに粗・出力にはEメール設定必要

Captevia

もともと整形外科向けに作られた３Dスキャンアプリのようです。
画面上に表示される3Dアバター一覧のサムネイル画像ではカラーが付いているように見えるのですが、3Dモデルをプレビューすると色が見えなくなってしまいました。

なんでや・・・！

おそらく設定から操作できるのではないか、とのことですが、
今回は時間がなかったため、そのままとなっておりますl。
どなたか原因がわかったら教えてください。

所要時間	・スキャンに2分程度・処理に1分程度
推奨度	×

詳細情報

自動床削除機能	なし
URL	https://www.rodin4d.com/en/
推奨度	×
備考	・出力はEメール設定必要（あるいはiTune）・独自のファイル形式でしか出力できず・床を読み取ってしまう、テクスチャが粗い・スキャン時はカラースキャンだが、プレビュー画面でカラーで表示できず

3DfitME, 3DsizeME

こちらも医療用の目的として開発されたスキャンアプリのようです。
fitMeとsizeMeの２種類があるみたいですが、使ってみたところいまいち違いがわからなかったそう。

Dropboxにアップができる点は便利そうですが、独自のファイル形式となっているため、
流用が難しいかもしれません。

スキャン結果

足が焼きナスみたいだなと思ったのは私だけでしょうか。

所要時間	・スキャンに2分程度・処理に1分程度
推奨度	×

詳細情報

書き出し形式	imed
自動床削除機能	なし
URL	https://techmed3d.com/
推奨度	×
備考	・差異が発見できていない(発覚次第分離) ・Dropboxに出力可能・独自のファイル形式でしか出力できず・床を読み取ってしまう、テクスチャが粗い

RealSense

RealSenceD415,D435 +RecFusion

Intelが最近発売した、RealSense D415とD435。

人気すぎてまだ入手し辛いところもありますが、とてもコスパ良しなカメラです。

RealSense D415一台と、上位互換ver.のD435一台を使ってそれぞれ試してみました。

スキャン結果

強そう。なんだこのメタリック感。

RealSenseD415+RecFusion by nextsystem on Sketchfab

所要時間	3分程度
推奨度	△

詳細情報

価格	RecFusion=99€ RealSenseD415=24,300円 RealSenseD435=28,350円
書き出し形式	PLY 、OBJ 、VRML、STL
自動床削除機能	なし
URL	https://www.recfusion.net/index.php/en
備考	・手にrealsenseを持ちスキャン・RecFusionは1台のセンサー用スキャンソフトウェア

RealSenceD415×3台 +RecFusionPro

RealSenseのD415を弊社でも入手し、定点でスキャンが可能か試してみました。
３台をそれぞれ高さを変えて設置しています。

RealSense D415 3台での定点3Dスキャンお試し風景。手作り感！#リアルアバター #実写アバター pic.twitter.com/PnBQKGUlrf

— NEXT-SYSTEM（AR/AI/VR） (@next_kinesys) 2018年4月19日

スキャン結果

そこそこ綺麗に撮れている印象です。
ただ、３台定点だとマシンスペックが結構大事みたいで、下記のスペック以下だと精度が上げられずぼやっとしていた印象でした。

■PCスペック
CPU：i7-8700K、GPU：GeForce GTX1080Ti

※出っ歯隠しのため少し口を膨らませて撮影したところ、顎が消滅しました。

所要時間	60秒～80秒程度
推奨度	◯

詳細情報

価格	RecFusion Pro=499€ RealSenseD415=24,300円 RealSenseD435=28,350円
書き出し形式	PLY 、OBJ 、VRML、STL
自動床削除機能	なし
URL	https://www.recfusion.net/index.php/en
備考	・RecFusionProは複数台のセンサー用スキャンソフトウェア・ある程度高スペックのPC(CPU：i7-8700K、GPU：GeForce GTX1080Ti）でスキャンするとある程度のクオリティのスキャンは可能・ターンテーブルに乗ってスキャン・センサーは3台固定　https://twitter.com/next_kinesys/status/978557045438783489″

VR/MRシステム | VR・MRシステムなら株式会社ネクストシステム

Oculus RiftやHTC VIVEなどのHMD(Head Mounted Display)を使った没入感の高いVRシステム（Virtual Reality／仮想現実）やMS HoloLensのARグラスを使ったMRシステム（Mixed Reality／複合現実）の開発を行っています。没入感の高いVRシステムやMR...

www.next-system.com