【リアルアバター】人間を3Dスキャンして3Dモデルにする方法を調査検討したのでまとめました

シェアする?

VRChatアイキャッチ

こんにちは。ネクストシステムの田中です。

突然ですが、

リアルアバターになりたくないですか?

VRChatアイキャッチ

そもそもリアルアバターとは、
現実世界の自分の姿を3Dモデル化したアバターのことです。
※実写アバターとも言ったりもしますが。

リアルアバターを作成する場合、
多くの方がカメラに360度囲まれたスタジオに赴いてスキャンしてもらうという方法で
リアルアバターを作っているのですが、なんとかこれを手軽に行うことができないものか・・・。

以前書いた記事でもご紹介しましたが、
今年から爆発的にヒットしているソーシャルVR、『VRChat』でリアルアバター勢となるために、以前弊社では人間を3Dスキャンしてアバターにする方法を色々と模索したことがあります。

最近はやりのVRChatでリアルアバター勢になるために、スタジオにスキャンしにいくのは大変なので何か別の方法でリアルアバター勢になれないか、試行錯誤してみた話をブログにしてみました。

結局上記の記事では、3Dスキャンではなく簡易的に人の形を3Dモデリングし、そのテクスチャとして以前撮影した全身写真の画像を上から貼り付ける方法を選択しました。

が!!

3Dスキャンを使ったリアルアバターも作りたい〜!

この間はなかなかいい方法が見つからなかったので、代替案を使いましたが
3Dスキャンを使うという方法でも、なんとかリアルアバターになるいい方法を見つけられないものか・・・

というわけで!!

スタジオに行かずとも人間を3Dスキャンする方法を調査し結果をまとめてみました。

VRchatでリアルアバター勢となる目的だけではなく、
今後VRやMR分野に注目が集まることで、人間の姿を3Dアバターにする機会もありそうですよね。

Structure Sensorを使う

iPadに取り付けるタイプのコンパクトな3次元形状スキャナです。対応するアプリを使用することで簡単に利用することが可能!

対応アプリがいくつかあったため、実際に使用して比べてみました。

itSeez3D

綺麗にスキャンをすることができました。

非会員の場合1体書き出すのに7ドル(無償版)、または月に250ドルで月100体/1年で1200体(それを越えると1体につき4ドル)ほどお金がかかりますが、クオリティと床抜きの観点からいいますと、iPad+Structure Sensor+itSeez3Dの組み合わせは中々良さそうです。

使い方

  1. StructureSensor を取り付け、itSeez3D をインストールしたiPadを用意
  2. itSeez3Dを起動し、アプリの指示に従って、人の全身をスキャン
    ・スキャンにかかる時間は2分程度
    ・このとき周囲に特徴点になるものが多いほうがよい(床および壁)
    ・このとき日光の影響を受けない場所であるほうがよい
    ・回り込むように移動するとき、足元を映していたほうがよい
  3. モバイルデバイス上のスキャンデータをクラウドに送信して処理
    ・10分程度の時間が必要
  4.  電子メールまたはitSeez3D Webアカウント経由でモデルをダウンロード
    ・手順2で使用するソフトに対応したファイル形式である”OBJ”形式を選択する
    ・モデルのダウンロードは有料
    ・クラウド上に保存できる3Dモデルの数は無制限
    ・iPad上には容量に応じたモデルデータを保存可能
    ※クラウド上で処理させる前の状態はスキャン時間によって異なるが200~300MB,
      クラウド上で処理 後は10~20MB程度のサイズでデータが保存される

調査した社員の感想としては、下記。

  • 一発目に顔をとらえてから3Dスキャンをしていくタイプなので、顔が綺麗に取れる。
  • 他に調査したアプリとは違い、「早く動きすぎ」などの注意が表示されないため、少し不安になるが、想像以上に綺麗に撮れていた。

スキャン結果

股部分の撮り方がちょっと甘かったみたいですが、気をつけて撮れば綺麗になります。

ItSeez3D + structure sensor (Full body) by nextsystem on Sketchfab

詳細情報

価格 ・非会員は一体につき7ドル
・会員(250ドル/月)で月100体 (それを超えると1体につき4ドル)
書き出し形式 PLY、OBJ 、WRL
自動床削除機能 あり
URL https://itseez3d.com/
推奨度  ◎
備考 ・精度を出すにはクラウドでの処理が必要(10分程度処理にかかる)
・webから書き出しとメールで送付の2パターン
・ライセンスによって書き出し時の金額が変動

Skanect

全体的にテクスチャーがボケてしまいました。
形はそこそこうまく取れるものが多いのですが、テクスチャーを鮮明に撮影するということが結構難しいようです。

使用感としては、スキャン中にどこまでスキャンできているかが、iPad上で表示されないため、正確にスキャンできているか撮れてるかの判断がつき辛い点が気になったとのこと。

2種類の書き出しが方法があり、VeryHighの場合クオリティをあげるためには相応のPCのスペックが要求されるようです。

スキャン結果:Midium版で書き出した場合

全体的にぼやっとしています。

Structure Sensor + SKANECT by nextsystem on Sketchfab

所要時間
  • キャリブレーションにかかる時間:約2分
  • スキャン:約3分
  • 処理/書き出し:約4分
推奨度

スキャン結果:VeryHigh版で書き出した場合

Midium版よりくっきりしています。だいたい撮れているように思いますが、テクスチャのボーダーが少しスイカのようにジャギジャギしているように見えます。

Structure Sensor + Scanekt:Very High by nextsystem on Sketchfab

所要時間
  • キャリブレーション:約2分
  • スキャン:約3分
  • 処理/書き出し:約18分
推奨度


詳細情報

価格 Pro版のライセンスが129ドル
※StructureSensor1台につき、1Proライセンス付属している
書き出し形式 PLY 、OBJ 、STL 、VRML
自動床削除機能 なし
備考
  • Windows、macで動作
  • ipadからPCへWifiでストリーミング
  • itSeez3Dに比べるとモニタを見ながらなのでスキャンしづらい
  • 無償で書き出し可能 ・初めての場合のみ、Structure Sensor Calibratorアプリで  キャリブレーションを行うことが必要
  • 無料版での書き出しは5000面まで
  • Proライセンスでこの制限撤廃(スキャンURLはPro版の結果)
  • 解像度の設定によって精度に違いが出るが、処理にかかる時間も異なる ・手動床削除可能

Scanner

Structure Sensorを作ったOccipiatalという企業が公開している、サンプルアプリで試してみました。

使ってみた感想としては、撮影し始めに最初に写してた部分はテクスチャが綺麗に撮れているのですが、それ以外の場所はぼやけていた印象・・・。

3Dモデル出力にはEmailアドレスが必要ですが、会社のiPadにメールが設定されてなかったので、とりあえず動画で撮影してます。

スキャン結果

顔がー!!!後ろ半分のテクスチャがおかしいですね。

詳細情報

価格  アプリ=無料
書き出し形式  OBJ、STL、PLY
自動床削除機能  なし
URL https://structure.io/apps
備考 ・自動床削除
・カラーは可能だがテクスチャがかなりゆがんでいる
参考:https://www.youtube.com/watch?v=nFyT2q8f_i4
・出力にはEメール設定必要

M3DScan

無料期間中に少し試してみましたがクオリティはScanerとそんなに大差なさそうな印象です。

やはり顔をしっかり鮮明に撮影することは中々ハードルが高いみたいですね。

スキャン結果

詳細情報

書き出し形式  OBJ、STL、PLY
自動床削除機能  なし
URL  http://www.mirage-3d.com/
備考  ・部分的もしくは全身のスキャン可能
・カラーでのスキャン設定が可能
・床を読み取ってしまう、テクスチャに粗
・出力にはEメール設定必要

Captevia

もともと整形外科向けに作られた3Dスキャンアプリのようです。
画面上に表示される3Dアバター一覧のサムネイル画像ではカラーが付いているように見えるのですが、3Dモデルをプレビューすると色が見えなくなってしまいました。

なんでや・・・!

おそらく設定から操作できるのではないか、とのことですが、
今回は時間がなかったため、そのままとなっておりますl。
どなたか原因がわかったら教えてください。

所要時間 ・スキャンに2分程度
・処理に1分程度
推奨度  ×

詳細情報

自動床削除機能  なし
URL  https://www.rodin4d.com/en/
推奨度 ×
備考 ・出力はEメール設定必要(あるいはiTune)
・独自のファイル形式でしか出力できず
・床を読み取ってしまう、テクスチャが粗い
・スキャン時はカラースキャンだが、プレビュー画面でカラーで表示できず

3DfitME, 3DsizeME

こちらも医療用の目的として開発されたスキャンアプリのようです。
fitMeとsizeMeの2種類があるみたいですが、使ってみたところいまいち違いがわからなかったそう。

Dropboxにアップができる点は便利そうですが、独自のファイル形式となっているため、
流用が難しいかもしれません。

スキャン結果

足が焼きナスみたいだなと思ったのは私だけでしょうか。

所要時間 ・スキャンに2分程度
・処理に1分程度
推奨度 ×

詳細情報

書き出し形式  imed
自動床削除機能  なし
URL  https://techmed3d.com/
推奨度  ×
備考 ・差異が発見できていない(発覚次第分離)
・Dropboxに出力可能
・独自のファイル形式でしか出力できず
・床を読み取ってしまう、テクスチャが粗い

RealSense

RealSenceD415,D435 +RecFusion

Intelが最近発売した、RealSense D415とD435。

人気すぎてまだ入手し辛いところもありますが、とてもコスパ良しなカメラです。

RealSense D415一台と、上位互換ver.のD435一台を使ってそれぞれ試してみました。

スキャン結果

強そう。なんだこのメタリック感。

RealSenseD415+RecFusion by nextsystem on Sketchfab

所要時間 3分程度
推奨度

詳細情報

価格 RecFusion=99€
RealSenseD415=24,300円
RealSenseD435=28,350円
書き出し形式 PLY 、OBJ 、VRML、STL
自動床削除機能  なし
URL  https://www.recfusion.net/index.php/en
備考 ・手にrealsenseを持ちスキャン
・RecFusionは1台のセンサー用スキャンソフトウェア

RealSenceD415×3台 +RecFusionPro

RealSenseのD415を弊社でも入手し、定点でスキャンが可能か試してみました。
3台をそれぞれ高さを変えて設置しています。

スキャン結果

そこそこ綺麗に撮れている印象です。
ただ、3台定点だとマシンスペックが結構大事みたいで、下記のスペック以下だと精度が上げられずぼやっとしていた印象でした。

■PCスペック
CPU:i7-8700K、GPU:GeForce GTX1080Ti

※出っ歯隠しのため少し口を膨らませて撮影したところ、顎が消滅しました。

所要時間 60秒~80秒程度
推奨度

詳細情報

価格 RecFusion Pro=499€
RealSenseD415=24,300円
RealSenseD435=28,350円
書き出し形式 PLY 、OBJ 、VRML、STL
自動床削除機能  なし
URL  https://www.recfusion.net/index.php/en
備考 ・RecFusionProは複数台のセンサー用スキャンソフトウェア
・ある程度高スペックのPC(CPU:i7-8700K、GPU:GeForce GTX1080Ti)でスキャンするとある程度のクオリティのスキャンは可能
・ターンテーブルに乗ってスキャン
・センサーは3台固定  https://twitter.com/NEXT_SYSTEM_Co/status/978557045438783489″

Oculus RiftやHTC VIVEなどのHMD(Head Mounted Display)を使った没入感の高いVRシステム(Virtual Reality/仮想現実)やMS HoloLensのARグラスを使ったMRシステム(Mixed Reality/複合現実)の開発を行っています。没入感の高いVRシステムやMR...

まとめ

クオリティと床抜きの観点からすると、非会員の場合1体あたり840円ほどかかりますが、
iPad+Structure Sensor+itSeez3Dの組み合わせが良さそうです。

ランニングコストがかからない案としては、iPad+Structure Sensor+Skanectの組み合わせですが、itSeez3Dよりクオリティが落ち、また床の自動削除機能がありません(手動で削除は可能)。

上記以外にランニングコストがかからない案としては、RealSenceD415×3台+RecFusionProの組み合わせですが、iPad+Structure Sensor+itSeez3Dよりクオリティが落ち、
また床の自動削除機能がありません(手動で削除は可能)。

↓つまりこういうことです。↓


・クオリティ重視
→iPad+Structure Sensor+itSeez3D
・ランニングコスト重視①→iPad+Structure Sensor+Skanect
・ランニングコスト重視②→RealSenceD415×3台+RecFusionPro

一長一短ありますが、目的に合わせて選んでいただけると良いと思います。

ネクストシステムではAI、xR(AR/VR/MR)など先端技術を利用した開発を行うソフトウェア開発会社です。引き続き弊社では、調査を行い3Dスキャン関連についても知見を溜めていけるようがんばります!

▼ネクストシステムWEBサイト

ネクストシステムは、AI(人工知能:DeepLearning)・VR(仮想現実)・MR(複合現実)・AR(拡張現実)・iPhone・Android開発を得意とする東京・福岡のシステム開発会社です。開発のご相談はお気軽にお問い合わせください。

ネクストシステムへのお問い合わせはこちら

お問い合わせバナー

※フィジビリティスタディ:プロジェクトの実現可能性を事前に調査・検討すること

トップへ戻る