【11/27更新】MMD作成にも!スマホでフルボディトラッキングVTuberになれる超簡易版モーキャプアプリ「ミチコンPlus」とは?

シェアする?

ミチコンPlusアイキャッチ

    

みなさんこんにちは。ネクストシステム広報担当の田中です。

2019年9月5日に、スマートフォンだけで全身をモーションキャプチャできるiOSアプリ「ミチコンPlus」をリリースさせていただきました!

▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=4459

▼ミチコンPlusのダウンロードはこちら
https://itunes.apple.com/jp/app/id1468862870

    

同年5月に「ミチコン」というアプリをリリースしましたが、こちらは弊社バーチャル広報担当のミチコになりきれる、というアプリでした。

今回ミチコンPlusでは「キャラクター変更機能」「モーションデータ書き出し機能」「iPad対応」「リップシンク対応」など追加しパワーアップ!

というわけで、ミチコンPlusでどういったことができるのか、またその便利な使い方をご紹介させていただきます。

    

ミチコンPlusでできること

      

全身をリアルタイムでモーションキャプチャできる!

ミチコンPlusの一番の特徴は、リアルタイムのフルボディトラッキングをお手持ちのiPhoneやiPadでできることです。

ミチコンPlus利用風景
基本的な使い方はスマートフォンのカメラに全身をうつすだけ

通常、全身のモーションキャプチャを行う際は、トラッカーを全身につけたり、カメラ機材を揃えたり、スタジオで撮影したりする必要がありました。でもこれって・・・

   

正直、あまりお手軽とはいえない!!!

   

そこで弊社が独自開発する、カメラから人間の骨格情報を検出するAIシステム「VisionPose(Single3D)」を利用して、スマホやタブレットだけでマーカレスのモーションキャプチャができるようにしてみました。

ミチコンPlusで綺麗にモーキャプするときに気をつけることは、前ミチコンと一緒なので下記のブログをご確認ください。

5月13日(月)に弊社からiOSアプリ「ミチコン-VisionPose Single3D-」をApp Storeにて公開させていただきました。ミチコンとは、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを弊社のバーチャル広報担当「未確認仮想広報担当ミチコ」ちゃんに反映するアプリです。ということで今回はミチコンのアプリ説明と、オススメの使い方についてご説明させていただこうと思います。

現代社会の荒波を乗りこなす忙しき方のために、簡単にいうと

・人間を写す
・カメラ or 動画に全身が写っている
・定点からの撮影
・体の線がわかりやすい服がおすすめ
・ごちゃついてない背景
・ゆっくりめに動く

ということです。
体の線がわかりやすい服というのは、つまりは下の画像のようなことを言います。わかりやすいですね。

アラサーなので微修正で失礼します。

しかし!こんな方も多いのでは。

「スペックが足りなくて動きがふわ〜〜〜〜っとしちゃう!」

ミチコンPlusではリアルタイムでのモーションキャプチャをするために、結構なハイスペックを求められます。AI(ディープラーニング)で人間の骨格を検出しているので、しょうがないところもあるのですが、これでは制限が厳しい。。。

ということで。我がミチコンチームは対策を立てました。

動画読み込みモードを搭載!

リアルタイムでのモーションキャプチャの他に、端末に保存された動画からモーションキャプチャが可能になりました。(最大15秒)

この機能を利用することで、対応端末でないユーザーの皆様にも手軽なモーションキャプチャをお楽しみいただけます。

また、自分の分身であるキャラクターにダンスさせたいけど、ダンスなんて無理ぽょ・・・という方にもおすすめです。(使用条件には注意してくださいね)

ちなみに使い方はこんな感じです。

※端末によって時間が多くかかる場合があります。

VRoid Hubと連携!!キャラクター変更ができる(PRO機能)

前回ミチコンをリリースした際、寄せられた声は多分こんな感じ。

・キャラクター変更したい
・モーションデータ書き出ししたい

・Android対応

   

というわけで!熱いご要望にお答えし、

VRoid Hubと連携しましたー!

   

キャラクター変更機能利用イメージ

VRoid Hubとは?

VRoid Studioなどで作成した(人型の)3Dモデルデータをアップロードできるプラットフォームです。SDKを導入した各種VR/ARプラットフォームや3Dコンテンツ内で、VRoid Hubに登録されたキャラクターを呼び出し、共通のアバターとして利用することができます。

VRoid公式ページより

   

ミチコンPlusではVRoid Hub(Pixiv)アカウントを入力して連携すると以下の条件で使えるようになります。

・VRoid Hubに登録済みのpixivアカウントである。
・"♥"を押したキャラクターが少なくとも1人いる。もしくは、自作のキャラクターが少なくとも1人いる。
・登録してあるキャラクターが以下の利用条件を満たしている。
①"公開キャラクター"もしくは"自作のキャラクター"である。
②"アバター利用がOK"である。
③"個人利用がOK"である。

    

「3Dキャラクターを持ってないよ・・・」というあなたもご安心ください。

同シリーズでモデリング技術がない方でも無料で、しかも自由に3Dキャラクターが作れる「VRoid Studio」や、「VRoid Studio」よりもちょっと自由度は下がるけれど、超簡単でしかもスマホで3Dキャラクターが作れる「VRoid Mobile」という神アプリがあります。

もちろん作成したキャラクターは、VRoid Hubにアップロードして、ミチコンPlusで動かしてみてください。

▼VRoid Hub
https://hub.vroid.com

▼VRoid Studio
https://vroid.com/studio

▼VRoid Mobile
https://vroid.com/mobile

Androidについては、搭載するために弊社でも調査を進めていますが、現状のAndroid搭載チップでは十分なパフォーマンスが出せるところまで至っていません。

ただ、対応端末でないユーザーの皆様に使っていただけるように、クラウド版の開発を進めています。

Androidユーザーの方にはお待たせして申し訳ありません!
引き続き調査検討を進めてまいります。

CSVでのモーション書き出しが可能(PRO機能)

他にもご要望の多かった、モーションデータの書き出し機能を追加しましたー!
撮影したモーションデータはCSVで書き出されます。

モーションデータの書き出しが可能

書き出ししたモーションデータは、Unityのヒューマノイドアバターの関節から取得しています。
CSVの構成は以下!※1行目はヘッダになります。

   

1列目:経過時間(秒)
2列目:HumanBodyBones.HipsのlocalPosition
3列目~:各関節のlocalRotation.eulerAngles

    

取得できる関節は以下となります。

Hips 
Spine 
Neck 
LeftUpperArm 
LeftLowerArm 
RightUpperArm 
RightLowerArm 
LeftUpperLeg 
LeftLowerLeg 
RightUpperLeg 
RightLowerLeg

※1関節につき3列ありますが、それぞれx、y、z座標を示しています。

ちなみに、フォーマットもデータも、基本的に利用規約の禁止行為の項目に該当しない使い方であれば、ご自由にご利用ください。

Unityで利用する場合は、CSVからUnityの.animに書き出すためのパッケージ等をご利用いただくと、アニメーションファイルにでき、二次利用等にご活用できます。

(変換するためのスクリプト、誰か作ってくれないかなあ・・・)

・・・と思ってたら社員が作ってくれました。これで少し楽になりますかね。

ちなみに3Dキャラクターをお持ちではない方用に、弊社のバーチャル広報担当ミチコをお貸しいたします!奮ってDLください。

▼ミチコン利用規約はこちら
https://www.next-system.com/michicon-terms

グリーンバック・AR背景に対応

グリーンバックやAR背景にも対応しています!
背景を変更するときは下図の箇所を押すと切り替えることが可能です。

1回押すとグリーンバック、2回押すとARモードになります。

グリーンバックを利用すると、緑になった部分が綺麗に抜けるので背景が思いのまま!配信にぴったりの機能です。

グリーンバック変更にも対応

クロマキー合成での配信はOBS Studioなど利用すると、簡単にできますよ。
リアルタイムでの配信に使わないのであれば、Perfect Videoなどの動画アプリでも簡単に合成できます。

ARモードを利用すると、キャラクターの背景を背面カメラの映像にできます。
キャラクターがまるで現実空間にいるような映像が撮影できます。

ミチコンPlusではiOS13から追加されたばかりの、マルチカメラ機能をさっそく利用しています。新しい機能は速攻で使っていくスタイルです。

マルチカメラ機能を利用して、前面カメラの映像、または動画ファイルから人間の動きをモーションキャプチャし、背面カメラに映った映像をキャラクターの背景として描写するARモードを実現しました。

ミチコンPlusの利用方法
モーショントラッキングは動画でも可能です。

一点だけご注意が!ARモードの利用にはiOS13以上の端末が必要です。
利用できる端末は、次の項で。

推奨端末と料金体系について

ミチコンPlusのリアルタイム時の推奨端末とARモード時の対応端末は下記。基本的にはA12チップのプロセッサが入っている端末を推奨しています。ARモードの利用には端末に制限があります。

<リアルタイムモーションキャプチャ推奨端末>
iPhone 11/11Pro/11ProMAX
iPhone XR/XS/XS MAX
iPad Air(3rd)/Mini(5th)/Pro(3rd)

<ARモード対応端末>
iPhone 11/11Pro/11ProMAX
iPhone XR/XS/XS MAX
iPad Pro(3rd)
※iOS13の端末でのみご利用できます。

リアルタイムでのモーショントラッキングの場合はA12以上じゃないとフレーム数が上がらなくて、リアルタイム性が大きく損なわれますので、ミチコンPlusの利用はなかなか難しいところがあります。

が!!

動画読み込み機能を利用すると、推奨端末でなくても簡単なモーショントラッキングは可能なので、推奨端末でない方も諦めないで!



また、ダウンロード自体は無料ですが、キャラクター変更やモーション書き出し機能をご利用される場合は、370円360円/月をいただいています。自動更新ではなく1ヶ月ごとに都度手動でご購入いただく非更新型なので、使いたい時に使っていただけるようにしてみました。

※2019年10月1日からの消費税率変更に関連し、Apple社よりApp Storeのアプリ価格改定が発表されました。それに伴い、iOSアプリ「ミチコンPlus」のPRO版機能の価格表記を360円から370円に変更いたしました。

   

そんな料金体系にこんなご意見も。
なんで1万回いいね押せないの????

もちろんこんなご意見もありましたので、完全に贔屓目で観ている内部の人間の声だと思ってくださいませ・・・!

アプリ内課金の表記が入ったことはいいですが、このアプリ課金しないと使い物にならないんですかね?課金する気がないので確認のしようがないですが。

App Storeの評価とレビューより

ちなみに有料アプリじゃなくて、アプリ内課金にさせていただいているのは、推奨端末が限られているので、一度デフォルトキャラクターのミチコでご体験いただき、ちゃんと動くか確かめていただきたいからです。

推奨端末見ないで買ってからじゃ、お金無駄になっちゃいますしね・・・!

ちゃんと!ミチコが動くか確認してから!課金を利用してくださいね!!!!!!!!!!!!!!!(念押し)

   

利用者の声は?

前回のミチコンは、VisionPose Single3Dの利用例としてリリースさせていただいたアプリだったので、利用できるキャラクターといえば、バーチャル広報担当のミチコだけでした。

今回はキャラクター変更ができるようになったので、実際に使ってくれたユーザーの方が多かったように思います。せっかくなので一部ご意見をまとめてみました。

ARkit3が登場!ミチコンの方向性は?

先日ARkit3がついにリリースされましたね!ARkit3ではモーションキャプチャ機能が追加され、弊社でもミチコンのことを考えるとちょっとヒヤヒヤしたり、でも純粋にAR開発もやってるので、とても楽しみだったりと、なんだか面白い心境です。

ミチコンについていうと、社内では

・ARkit3を利用した方が良いんじゃないか説
・このままVisionPose Single3Dを利用した方が良いんじゃないか説

という選択肢が爆誕してます。

どちらになるか、近々検証し、検証結果はブログ等にまとめていこうと思います。

まとめ

というわけで、今回リリースさせていただたミチコンPlusについて軽くまとめさせていただきました。

ご紹介した以外にもご意見やご要望いただきましたので、これからはそちらも検討しつつ、素敵なアプリにしていけるよう頑張ります。

えっ、え〜〜〜〜〜〜〜〜〜???????

モーションキャプチャしている技術自体を使って、ゲームやVR、ARを作りたいって?????????

しょうがないですね、そんなあなたには当社製品の、

AI骨格検出システム「VisionPose Single3D」!!!!

ミチコンPlusには同システムのiOS版を利用しています。ひとまずWindows Unityでご提供を開始しました。iOS版をご利用になりたい方は続報をお待ちください。

詳細はこちらからどうぞ〜!

WEB カメラで⼈間の⾻格を検出するシステム「VisionPose(ビジョンポーズ)」シリーズの1つとして、カメラ1つで⼈間の⾻格を検出する「VisionPose Single3D(以下 Single3D)」。

     

・・・すいませんでした。

↓ネクストシステムWEBサイトはこちらから

シェアする?

下のボタンからいいねすると最新情報をチェックできるよ!

↓ネクストシステムWEBサイトはこちらから

トップへ戻る