VTuberやMMD作成にも!超簡易版全身リアルタイムモーキャプアプリ「ミチコンPlus」とは?

シェアする?

ミチコンPlusアイキャッチ

    

みなさんこんにちは。ネクストシステム広報担当の田中です。

2019年9月5日に、スマートフォンだけで全身をモーションキャプチャできるiOSアプリ「ミチコンPlus」をリリースさせていただきました!

▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=4459

▼ミチコンPlusのダウンロードはこちら
https://itunes.apple.com/jp/app/id1468862870

    

同年5月に「ミチコン」というアプリをリリースしましたが、こちらは弊社バーチャル広報担当のミチコになりきれる、というアプリでした。

今回ミチコンPlusでは「キャラクター変更機能」「モーションデータ書き出し機能」「iPad対応」「リップシンク対応」など追加しパワーアップ!

というわけで、ミチコンPlusでどういったことができるのか、またその便利な使い方をご紹介させていただきます。

    

ミチコンPlusでできること

      

全身をリアルタイムでモーションキャプチャできる!

ミチコンPlusの一番の特徴は、リアルタイムのフルトラッキングをお手持ちのiPhoneやiPadでできることです。

ミチコンPlus利用風景
基本的な使い方はスマートフォンのカメラに全身をうつすだけ

通常、全身のモーションキャプチャを行う際は、トラッカーを全身につけたり、カメラ機材を揃えたり、スタジオで撮影したりする必要がありました。でもこれって・・・

   

正直、あまりお手軽とはいえない!!!

   

そこで弊社が独自開発する、カメラから人間の骨格情報を検出するAIシステム「VisionPose(Single3D)」を利用して、スマートフォンでモーションキャプチャができるようにしてみました。

ミチコンPlusで綺麗にモーキャプするときに気をつけることは、前ミチコンと一緒なので下記のブログをご確認ください。

5月13日(月)に弊社からiOSアプリ「ミチコン-VisionPose Single3D-」をApp Storeにて公開させていただきました。ミチコンとは、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを弊社のバーチャル広報担当「未確認仮想広報担当ミチコ」ちゃんに反映するアプリです。ということで今回はミチコンのアプリ説明と、オススメの使い方についてご説明させていただこうと思います。

    

現代社会の荒波を乗りこなす忙しき方のために、簡単にいうと

・体の線がわかりやすい服がおすすめ!
・背景をできるだけシンプルに

ということです。
体の線がわかりやすい服というのは、つまりは下の画像のようなことを言います。わかりやすいですね。

アラサーなので微修正で失礼します。

VRoid Hubと連携!!キャラクター変更ができる(PRO機能)

前回ミチコンをリリースした際、寄せられた声は多分こんな感じ。

・キャラクター変更したい
・モーションデータ書き出ししたい

・Android対応

   

というわけで!熱いご要望にお答えし、

VRoid Hubと連携しましたー!

   

キャラクター変更機能利用イメージ

VRoid Hubとは?

VRoid Studioなどで作成した(人型の)3Dモデルデータをアップロードできるプラットフォームです。SDKを導入した各種VR/ARプラットフォームや3Dコンテンツ内で、VRoid Hubに登録されたキャラクターを呼び出し、共通のアバターとして利用することができます。

VRoid公式ページより

   

ミチコンPlusではVRoid Hub(Pixiv)アカウントを入力して連携すると以下の条件で使えるようになります。

・VRoid Hubに登録済みのpixivアカウントである。
・"♥"を押したキャラクターが少なくとも1人いる。もしくは、自作のキャラクターが少なくとも1人いる。
・登録してあるキャラクターが以下の利用条件を満たしている。
①"公開キャラクター"もしくは"自作のキャラクター"である。
②"アバター利用がOK"である。
③"個人利用がOK"である。

    

「3Dキャラクターを持ってないよ・・・」というあなたもご安心ください。

同シリーズでモデリング技術がない方でも無料で、しかも自由に3Dキャラクターが作れる「VRoid Studio」や、「VRoid Studio」よりもちょっと自由度は下がるけれど、超簡単でしかもスマホで3Dキャラクターが作れる「VRoid Mobile」という神アプリがあります。

もちろん作成したキャラクターは、VRoid Hubにアップロードして、ミチコンPlusで動かしてみてください。

▼VRoid Hub
https://hub.vroid.com

▼VRoid Studio
https://vroid.com/studio

▼VRoid Mobile
https://vroid.com/mobile

CSVでのモーション書き出しが可能(PRO機能)

他にもご要望の多かった、モーションデータの書き出し機能を追加しましたー!
撮影したモーションデータはCSVで書き出されます。

モーションデータの書き出しが可能

書き出ししたモーションデータは、Unityのヒューマノイドアバターの関節から取得しています。
CSVの構成は以下!※1行目はヘッダになります。

   

1列目:経過時間(秒)
2列目:HumanBodyBones.HipsのlocalPosition
3列目~:各関節のlocalRotation.eulerAngles
   

    

取得できる関節は以下となります。

Hips Spine 
Neck
LeftUpperArm
LeftLowerArm
RightUpperArm
RightLowerArm
LeftUpperLeg
LeftLowerLeg
RightUpperLeg
RightLowerLeg

※1関節につき3列ありますが、それぞれx、y、z座標を示しています。

ちなみに、フォーマットもデータも、基本的に利用規約の禁止行為の項目に該当しない使い方であれば、ご自由にご利用ください。

Unityで利用する場合は、CSVからUnityの.animに書き出すためのパッケージ等をご利用いただくと、アニメーションファイルにでき、二次利用等にご活用できます。

  

(変換するためのスクリプト、誰か作ってくれないかなあ・・・)

   

▼ミチコン利用規約はこちら
https://www.next-system.com/michicon-terms

グリーンバックに対応

前回同様、グリーンバックにも対応しました!

グリーンバック変更にも対応

OBS Studioなど利用すると、クロマキー合成することもできますよー。

推奨端末と料金体系について

ミチコンPlusの推奨端末は下記。A12チップのプロセッサが入っている端末を推奨しています。

iPhone XR/XS/XS MAX
iPad Air(3rd)/Mini(5th)/Pro(3rd)

A12以上じゃないとフレーム数が上がらなくて、リアルタイム性が大きく損なわれますので、ミチコンPlusの利用はなかなか難しいところがあります。

また、ダウンロード自体は無料ですが、キャラクター変更やモーション書き出し機能をご利用される場合は、370円360円/月をいただいています。自動更新ではなく1ヶ月ごとに都度手動でご購入いただく非更新型なので、使いたい時に使っていただけるようにしてみました。

※2019年10月1日からの消費税率変更に関連し、Apple社よりApp Storeのアプリ価格改定が発表されました。それに伴い、iOSアプリ「ミチコンPlus」のPRO版機能の価格表記を360円から370円に変更いたしました。

   

そんな料金体系にこんなご意見も。
なんで1万回いいね押せないの????

もちろんこんなご意見もありましたので、完全に贔屓目で観ている内部の人間の声だと思ってくださいませ・・・!

アプリ内課金の表記が入ったことはいいですが、このアプリ課金しないと使い物にならないんですかね?課金する気がないので確認のしようがないですが。

App Storeの評価とレビューより

ちなみに有料アプリじゃなくて、アプリ内課金にさせていただいているのは、推奨端末が限られているので、一度デフォルトキャラクターのミチコでご体験いただき、ちゃんと動くか確かめていただきたいからです。

推奨端末見ないで買ってからじゃ、お金無駄になっちゃいますしね・・・!

ちゃんと!ミチコが動くか確認してから!課金を利用してくださいね!!!!!!!!!!!!!!!(念押し)

   

利用者の声は?

前回のミチコンは、VisionPose Single3Dの利用例としてリリースさせていただいたアプリだったので、利用できるキャラクターといえば、バーチャル広報担当のミチコだけでした。

今回はキャラクター変更ができるようになったので、実際に使ってくれたユーザーの方が多かったように思います。せっかくなので一部ご意見をまとめてみました。

ARkit3が登場!ミチコンの方向性は?

先日ARkit3がついにリリースされましたね!ARkit3ではモーションキャプチャ機能が追加され、弊社でもミチコンのことを考えるとちょっとヒヤヒヤしたり、でも純粋にAR開発もやってるので、とても楽しみだったりと、なんだか面白い心境です。

ミチコンについていうと、社内では

・ARkit3を利用した方が良いんじゃないか説
・このままVisionPose Single3Dを利用した方が良いんじゃないか説

という選択肢が爆誕してます。

どちらになるか、近々検証し、検証結果はブログ等にまとめていこうと思います。

まとめ

というわけで、今回リリースさせていただたミチコンPlusについて軽くまとめさせていただきました。

ご紹介した以外にもご意見やご要望いただきましたので、これからはそちらも検討しつつ、素敵なアプリにしていけるよう頑張ります。

えっ、え〜〜〜〜〜〜〜〜〜???????

モーションキャプチャしている技術自体を使って、ゲームやVR、ARを作りたいって?????????

しょうがないですね、そんなあなたには当社製品の、

AI骨格検出システム「VisionPose Single3D」!!!!

ミチコンPlusには同システムのiOS版を利用しています。ひとまずWindows Unityでご提供を開始しました。iOS版をご利用になりたい方は続報をお待ちください。

詳細はこちらからどうぞ〜!

WEB カメラで⼈間の⾻格を検出するシステム「VisionPose(ビジョンポーズ)」シリーズの1つとして、カメラ1つで⼈間の⾻格を検出する「VisionPose Single3D(以下 Single3D)」。

     

・・・すいませんでした。

↓ネクストシステムWEBサイトはこちらから

シェアする?

下のボタンからいいねすると最新情報をチェックできるよ!

↓ネクストシステムWEBサイトはこちらから

トップへ戻る