【使い方も!】スマホで全身モーションキャプチャ「ミチコン-VisionPose Single3D-」とは?

シェアする?

ミチコンアイキャッチ

みなさんこんにちは。ネクストシステムの広報担当田中です。ご存知の方もいらっしゃるかもしれませんが、5月13日(月)に弊社からiOSアプリをApp Storeにて公開させていただきました。その名も、

「ミチコン-VisionPose Single3D-」!!!

ダウンロードはこちらからどうぞ。

https://apps.apple.com/jp/app/id1461437373

というわけで。
今回はミチコンのアプリ説明と、オススメの使い方についてご説明させていただこうと思います。

ミチコン-VisionPose Single3D-とは?

「ミチコン-VisionPose Single3D-」とはスマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを弊社のバーチャル広報担当「未確認仮想広報担当ミチコ」ちゃんに反映するアプリです。

みたほうが早い!プロモーション動画をまずはご覧ください。

ちなみに名前の由来は「ミチコをコントロールできる」ところから。リモコンともかかってます。

動画でだいたいイメージは伝わったのでは、と思いますが簡単にアプリのご説明をするとこんな感じです。

・スマホカメラだけで全身モーションキャプチャ

通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、

なんとミチコンでは、

特別なデバイスを体には一切装着する必要なし!
スマホカメラだけで全身のモーションキャプチャが可能!

となっています。

従来のフルトラッキングは多額の初期投資が必要であることを考えると、ローコストですよね。

・グリーンバック機能搭載!VTuber配信にも!

配信にもご利用しやすいよう、グリーンバック機能を搭載しました。
OBSなど別途配信ツールを利用すると、クロマキー合成も可能です。配信ネタなどにどうぞ。

ちなみに広報担当は、簡単なものならPerfect Videoなどのスマホアプリでサクッと編集してます。アプリだけで動画編集が完了するって最高か。。。

・未確認仮想広報担当ミチコになりきれる!

未確認広報担当ミチコとは、広報担当として株式会社ネクストシステムの歴史を学ぶべく、そう遠くない未来から仮想空間を介して新人研修にやってきた女の子です。基本的には電脳空間にいるので、社員のPCなどに表示されてることが多いです。

この姿は仮想空間上でのアバターのようなものらしく、体が3DCGでできていることを活かしてアプリのモデルとして協力してもらっています。

ミチコンを作ることになったきっかけ

弊社は2018年の11月より「VisionPose(ビジョンポーズ)」というカメラだけで人間の骨格を検出するシステムを提供しています。

そんなVisionPoseシリーズの1つで、カメラ1つで人の骨格座標を3Dで予測できる「VisionPose Single3D(以下 Single3D)」を現在開発しているのですが、その利用例として2019年3月に公開したデモアプリに、大変多くのご反響が・・・!

というわけで、ユーザーの皆様にもご体験いただけるよう、この度正式アプリとしてApp Storeより公開することになったことがきっかけです。

3月に公開したデモアプリ。Twitterを中心に多くのご反響をいただきました。

ミチコンに利用されている、現在開発中の「Single3D」は下記のプレスリリースからご確認ください。

Single3Dは当社が提供するVisionPoseシリーズの1つであり、WEBカメラとAI(ディープラーニング)を利用して人間の骨格座標を検出するシステムです。同シリーズのVisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能です。

https://www.next-system.com/topics/release/post=3438

ミチコンを上手に動かす方法

どうせなら綺麗に3Dモデルを動かしたいですよね。
ミチコンを上手に動かすためには、Single3Dが認識しやすい環境を整える必要があります。そこで特に影響がある3点をご紹介します。

身体の線がわかりやすい服がおすすめ!

ミチコンはカメラ画像から人間の骨格位置を推定して動きを検出しています。
人間に置き換えるとわかりやすいのですが、人間の目がVisionPoseでいうカメラだとすると、例えばロングスカート着ている人の足が、クロスしているかどうかって人間でも見た目だけじゃわかりにくいですよね。

それと一緒で、オーバーサイズや、ロングの服を着ていると、
「足が見えないので、できる限りの想像でやらせてもらいますけど、あんまり自信ないです」状態になってしまうので、どうしても精度は落ちてきます。

現状、身体の線が出にくい服をきたときの精度はこんな感じ。

正確にはミチコンで利用している Single3Dではなく、VisionPose Standardの方の実験動画になります。

そこそこ頑張っている感はありますが、0:57~あたりのゆったりサロペットだとVisionPoseが誤認識してるところがありますよね。
もちろん弊社では日々学習を行うことで精度を調整していってはいますが、より精度を求めるのであれば、体の線がわかりやすい服装であることをお勧めします。

というわけでオススメの服装を具体的にいうと


まあ、私みたいな格好ですかね!


タイトなジーンズにタイトめのトップス、ねじ込んでみてください。

アラサーなので、少しばかりの修正させていただいています。好きなアルファベットはSです。

背景をできるだけシンプルに

弊社のように、背景に色んなパターンのマネキンが写り込みがち、という環境の方も多いかと思います。え?そんなことない?

ある日の弊社。どこから撮影してもマネキンや骨格標本が写り込みがち。夜は怖い。

ミチコンをご利用いただく際は、出来るだけごちゃごちゃしてない背景のほうが望ましいです。

具体的なチェック方法としては、ミチコンの画面上での確認がおすすめです。
ミチコンを起動してプレビュー画面を表示すると、体の上にボーンが表示されます。このボーンが背景に写っている物体に取られていないか確認してみて、邪魔なものがあれば取り除いてみると、より安定してミチコンをお楽しみいただけます。

ちなみにミチコンの仕様としては、認識人数は1人でかつ、画面中央に写っている人物の骨格が採用されます。仕様をご理解いただき、最高の環境で撮影してみてくださいね!

A12を搭載した推奨スペックの端末を用意

これをすぐ実現するのはめちゃくちゃ難しいと思うのですが、推奨スペックの端末であるかどうかで、ミチコンのパフォーマンスがかなり違います。

現在のミチコンの推奨端末は下記。

  • iPhone XS / XS MAX
  • iPhone XR

そういえば、ミチコンをリリースさせていただいていてからコメントを楽しく拝見していたのですが、同じiPhoneXシリーズでもXのプロセッサがA11なのに対し、XSやXRのプロセッサがA12でおばけ処理スピードに進化していることはあまり知られていない気がしました。

毎秒5兆の演算処理に、Core MLの動作がA11と比べて最大9倍高速ですって。

いや5兆って、小学生特有の仮想通貨の単位かよ。

おままごと時の小学生が稼ぐ給料。その他の用例としては「はい、慰謝料5兆円〜」などがある。

というわけで、iPhoneXだとFPSが大分落ちますので、できればXS、XR以上をお勧めします。

ミチコンをリリースをした際の反応は?

ミチコンをリリースさせていただいた際のコメントはどんなものだったのでしょうか?一部コメントを抜粋しまとめてみました。

反応があるって素敵ですね、この時ばかりはTwitterを肴にお酒が進みました。

ウッヒョオ・・・・。


iOSアプリは辛辣なコメントが多いと聞きますし、相当手厳しい声をいただくんだろうなと覚悟して、「南無三!」と公開した弊社でしたが、思ったより暖かい声が多くて驚きました。

ありがたくご意見を拝見したところ、

  • Android対応
  • オリジナルキャラクターの読み込み

というご意見が多かったです。

ミチコンの今後の展望は?

現在のミチコンは、弊社の技術を少し体験できるアプリであるだけで、”使えるアプリ”とまではいっていません。そこで、いただいたご意見をまとめて社内で企画会議を開催しました。

ミチコンは今後大まかにこんなことができるようになる予定です。

  • オリジナルキャラクターの取り込み
  • モーションデータの書き出し機能
  • iPad対応

まずこのあたりの機能があればもっと楽しんでいただけるのでは、と考えております。


ただ、Android方は、、、すみません!

実は、弊社のシステムの都合上、条件を満たした端末がなくて作れないのです 。

今後スペックを満たすAndroidハードウェアが登場したら作ることになるかもしれません。せっかくのご意見を反映できず申し訳ない・・・!

まとめ

というわけで今回はミチコンの正しい使い方についてまとめてみました。

それにしてもこないだのAppleさんの発表。

いや、ARkit3でモーショントラッキング出るんかーい!!

燃え尽きた
なんとなくKinectが販売中止になった時を思い出しました。
Appleは本日、デベロッパのみなさんがパワフルな新しいアプリケーションをさらに簡単に、さらに速く開発できる画期的なテクノロジーをいくつか発表しました。

そんな正直な気持ちを吐露しつつ、まだベータ版なので調査結果を公には出せませんが、弊社の方でも現在調査を進めています。

弊社の方針としては基本的に、「技術は目的ではなく、手段である」と考えてます。そのため、もしARkit3の方がユーザーの皆様にとって良いと感じたら、そちらを今後採用する可能性もあります。(長い物には大いに巻かれていくスタイル)。

でも、もともとSingle3Dの利用例としてリリースしたアプリだったので広報担当的には正直、「タイミング!もっと考えていこ!お願いだから!」って感じなんですけどね(個人の感想です)

キーってなる広報
せめてAppleさんより早くスマホでフルトラのモーキャプをリリースした点だけは褒めて欲しい(開き直り)

対してVisionPoseは

・複数人検出に強い
・iOS以外のOS(Win C#/C++、Linux、Jetson、Cloudなど)もカバー
・自社製品であることで、キーポイントの数など、ある程度コントロールできる

などが強みになってきます。

ARkit3の仕様内で勝負するとアプリ自体のクオリティ勝負になってしまいますし、自社でコントロールできるVisionPoseの方が、もしかしたら他のアプリにはない機能をご提供できるかもしれません。

これらの優位性とARkit3、どちらを取るか悩みどころ・・・



そんな私個人の思惑は置いておいて、会社としては柔軟に対応する方針です。

もちろん、ミチコンに搭載されたAI骨格検出システムVisionPose自体もSDKを提供させていただいてます。
この辺りに有用性を感じていただけたお客様がいらっしゃいましたら全力でご対応させていただきたいと思いますので、ぜひお気軽にご一報くださいませ^^。

弊社の最新情報は下記Twitterからどうぞ。

NEXT-SYSTEM(AI/AR/VR) (@next_kinesys)さんの最新ツイート WEBカメラで人間の骨格を検出するVisionPoseをはじめ、AI・AR・VRなどシステム開発を行っている、株式会社ネクストシステムです。※お問い合わせはから✉️ VisionPose/VRChat/52Chat/ARkit...

ではでは!

↓ネクストシステムWEBサイトはこちらから

トップへ戻る