音街ウナちゃんともコラボ!スマホでフルボディトラッキングVTuberになれる超簡易版モーキャプアプリ「ミチコンPlus」とは?

シェアする?

ミチコンPlusアイキャッチ

みなさんこんにちは。ネクストシステム広報担当の田中です。

2019年9月5日に、スマートフォンだけで全身をモーションキャプチャできるiOSアプリ「ミチコンPlus」をリリースさせていただきました!

「ミチコンPlus」プロモーションビデオ ースマホで全身モーションキャプチャ!ー

▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=4459

▼ミチコンPlusのダウンロードはこちら
https://itunes.apple.com/jp/app/id1468862870

▼ミチコンPlusの WEBサイトはこちら
https://www.next-system.com/michicon

同年5月に「ミチコン」というアプリをリリースしましたが、こちらは弊社バーチャル広報担当のミチコになりきれる、というアプリでした。

今回ミチコンPlusでは「キャラクター変更機能」「モーションデータ書き出し機能」「iPad対応」「リップシンク対応」など追加しパワーアップ!

というわけで、ミチコンPlusでどういったことができるのか、またその便利な使い方をご紹介させていただきます。

ミチコンPlusでできること

ミチコンPlus画面説明

ミチコンPlus画面説明

ミチコンPlusにはさまざまな機能が!
基本的にはタップだけで直感的にご利用可能です。

全身をリアルタイムでモーションキャプチャできる!

ミチコンPlusの一番の特徴は、リアルタイムのフルボディトラッキングをお手持ちのiPhoneやiPadでできることです。

ミチコンPlus利用風景
基本的な使い方はスマートフォンのカメラに全身をうつすだけ

通常、全身のモーションキャプチャを行う際は、トラッカーを全身につけたり、カメラ機材を揃えたり、スタジオで撮影したりする必要がありました。でもこれって・・・

正直、あまりお手軽とはいえない!!!

そこで弊社が独自開発する、カメラから人間の骨格情報を検出するAIシステム「VisionPose(Single3D)」を利用して、スマホやタブレットだけでマーカレスのモーションキャプチャができるようにしてみました。

ミチコンPlusで綺麗にモーキャプするときに気をつけることは、前ミチコンと一緒なので下記のブログをご確認ください。

5月13日(月)に弊社からiOSアプリ「ミチコン-VisionPose Single3D-」をApp Storeにて公開させていただきました。ミチコンとは、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きを弊社のバーチャル広報担当「未確認仮想広報担当ミチコ」ちゃんに反映するアプリです。ということで今回はミチコンのアプリ説明と、オススメの使い方についてご説明させていただこうと思います。

現代社会の荒波を乗りこなす忙しき方のために、簡単にいうと

・人間を写す
・カメラ or 動画に全身が写っている
・定点からの撮影
・体の線がわかりやすい服がおすすめ
・ごちゃついてない背景
・ゆっくりめに動く

ということです。
体の線がわかりやすい服というのは、つまりは下の画像のようなことを言います。わかりやすいですね。

アラサーなので微修正で失礼します。

しかし!こんな方も多いのでは。

「スペックが足りなくて動きがふわ〜〜〜〜っとしちゃう!」

ミチコンPlusではリアルタイムでのモーションキャプチャをするために、結構なハイスペックを求められます。AI(ディープラーニング)で人間の骨格を検出しているので、しょうがないところもあるのですが、これでは制限が厳しい。。。

ということで。我がミチコンチームは対策を立てました。

動画読み込みモードを搭載!

リアルタイムでのモーションキャプチャの他に、端末に保存された動画からモーションキャプチャが可能になりました。(最大15秒)

この機能を利用することで、対応端末でないユーザーの皆様にも手軽なモーションキャプチャをお楽しみいただけます。

また、自分の分身であるキャラクターにダンスさせたいけど、ダンスなんて無理ぽょ・・・という方にもおすすめです。(使用条件には注意してくださいね)

ちなみに使い方はこんな感じです。

※端末によって時間が多くかかる場合があります。

VRoid Hubと連携!!キャラクター変更ができる(PRO機能)

前回ミチコンをリリースした際、寄せられた声は多分こんな感じ。

・キャラクター変更したい
・モーションデータ書き出ししたい

・Android対応

というわけで!熱いご要望にお答えし、

VRoid Hubと連携しましたー!

キャラクター変更機能利用イメージ

VRoid Hubとは?

VRoid Studioなどで作成した(人型の)3Dモデルデータをアップロードできるプラットフォームです。SDKを導入した各種VR/ARプラットフォームや3Dコンテンツ内で、VRoid Hubに登録されたキャラクターを呼び出し、共通のアバターとして利用することができます。

VRoid公式ページより

ミチコンPlusではVRoid Hub(Pixiv)アカウントを入力して連携すると以下の条件で使えるようになります。

・VRoid Hubに登録済みのpixivアカウントである。
・"♥"を押したキャラクターが少なくとも1人いる。もしくは、自作のキャラクターが少なくとも1人いる。
・登録してあるキャラクターが以下の利用条件を満たしている。
①"公開キャラクター"もしくは"自作のキャラクター"である。
②"アバター利用がOK"である。
③"個人利用がOK"である。

「3Dキャラクターを持ってないよ・・・」というあなたもご安心ください。

同シリーズでモデリング技術がない方でも無料で、しかも自由に3Dキャラクターが作れる「VRoid Studio」や、「VRoid Studio」よりもちょっと自由度は下がるけれど、超簡単でしかもスマホで3Dキャラクターが作れる「VRoid Mobile」という神アプリがあります。

もちろん作成したキャラクターは、VRoid Hubにアップロードして、ミチコンPlusで動かしてみてください。

▼VRoid Hub
https://hub.vroid.com

▼VRoid Studio
https://vroid.com/studio

▼VRoid Mobile
https://vroid.com/mobile

Androidについては、搭載するために弊社でも調査を進めていますが、現状のAndroid搭載チップでは十分なパフォーマンスが出せるところまで至っていません。

ただ、対応端末でないユーザーの皆様に使っていただけるように、クラウド版の開発を進めています。

Androidユーザーの方にはお待たせして申し訳ありません!
引き続き調査検討を進めてまいります。

CSVでのモーション書き出しが可能(PRO機能)

他にもご要望の多かった、モーションデータの書き出し機能を追加しましたー!
撮影したモーションデータはCSVで書き出されます。

モーションデータの書き出しが可能

書き出ししたモーションデータは、Unityのヒューマノイドアバターの関節から取得しています。
CSVの構成は以下!※1行目はヘッダになります。

1列目:経過時間(秒)
2列目:HumanBodyBones.HipsのlocalPosition
3列目~:各関節のlocalRotation.eulerAngles

取得できる関節は以下となります。

Hips 
Spine 
Neck 
LeftUpperArm 
LeftLowerArm 
RightUpperArm 
RightLowerArm 
LeftUpperLeg 
LeftLowerLeg 
RightUpperLeg 
RightLowerLeg

※1関節につき3列ありますが、それぞれx、y、z座標を示しています。

ちなみに、フォーマットもデータも、基本的に利用規約の禁止行為の項目に該当しない使い方であれば、ご自由にご利用ください。

Unityで利用する場合は、CSVからUnityの.animに書き出すためのパッケージ等をご利用いただくと、アニメーションファイルにでき、二次利用等にご活用できます。MMDで利用する場合もVMDなどに変換が必要です。

(変換するためのスクリプト、誰か作ってくれないかなあ・・・)

・・・と思ってたら社員が作ってくれました。これで少し楽になりますかね。

ちなみに3Dキャラクターをお持ちではない方用に、弊社のバーチャル広報担当ミチコをお貸しいたします!奮ってDLください。

MMD等の利用につきましては、こちらのブログからご確認ください。

全身モーションキャプチャが可能なiOSスマホアプリ「ミチコンPlus」で書き出したcsvを、MMDで使用されているvmdに変換する手順をまとめてあります。csv書き出し機能は有料ではありますが、VRの機材やハイスペックなPCの購入費用を考えるとかなり安価だと考えます。初心者の方にもわかりやすいように公式サイトからUntiyのインストール手順をリンクを貼って引用しています。

▼ミチコン利用規約はこちら
https://www.next-system.com/michicon-terms

グリーンバック・AR背景に対応

グリーンバックやAR背景にも対応しています!

グリーンバックを利用すると、緑になった部分が綺麗に抜けるので背景が思いのまま!配信にぴったりの機能です。

グリーンバック変更にも対応

クロマキー合成での配信はOBS Studioなど利用すると、簡単にできますよ。
リアルタイムでの配信に使わないのであれば、Perfect Videoなどの動画アプリでも簡単に合成できます。

ARモードを利用すると、キャラクターの背景を背面カメラの映像にできます。
キャラクターがまるで現実空間にいるような映像が撮影できます。

ミチコンPlusではiOS13から追加されたばかりの、マルチカメラ機能をさっそく利用しています。新しい機能は速攻で使っていくスタイルです。

マルチカメラ機能を利用して、前面カメラの映像、または動画ファイルから人間の動きをモーションキャプチャし、背面カメラに映った映像をキャラクターの背景として描写するARモードを実現しました。

ミチコンPlusの利用方法
モーショントラッキングは動画でも可能です。

一点だけご注意が!ARモードの利用にはiOS13以上の端末が必要です。
利用できる端末は、次の項で。

スマホだけでVチューバー!マーカレスでリアルタイムの全身モーションキャプチャが可能なiOSアプリ「ミチコンPlus」。VRoid HubにUPしたキャラクターに変更したり、モーションデータの書き出しも可能

推奨端末と料金体系について

ミチコンPlusのリアルタイム時の推奨端末とARモード時の対応端末は下記。基本的にはA12チップのプロセッサが入っている端末を推奨しています。ARモードの利用には端末に制限があります。

■推奨端末
iPhone XS/XS MAX/XR
iPhone 11~
iPhone SE(2nd〜)
iPad mini(5th〜)/Air(3rd~)/Pro 11inch(1st~)/Pro 12.9inch(3rd~)
iPad(8th〜)
※iPad mini(5th〜)とiPad Air(3rd〜)はAR機能が非対応です。

リアルタイムでのモーショントラッキングの場合はA12以上じゃないとフレーム数が上がらなくて、リアルタイム性が大きく損なわれますので、ミチコンPlusの利用はなかなか難しいところがあります。

が!!

動画読み込み機能を利用すると、推奨端末でなくても簡単なモーショントラッキングは可能なので、推奨端末でない方も諦めないで!



また、ダウンロード自体は無料ですが、キャラクター変更やモーション書き出し機能をご利用される場合は、370円360円/月をいただいています。自動更新ではなく1ヶ月ごとに都度手動でご購入いただく非更新型なので、使いたい時に使っていただけるようにしてみました。

※2019年10月1日からの消費税率変更に関連し、Apple社よりApp Storeのアプリ価格改定が発表されました。それに伴い、iOSアプリ「ミチコンPlus」のPRO版機能の価格表記を360円から370円に変更いたしました。

そんな料金体系にこんなご意見も。
なんで1万回いいね押せないの????

もちろんこんなご意見もありましたので、完全に贔屓目で観ている内部の人間の声だと思ってくださいませ・・・!

アプリ内課金の表記が入ったことはいいですが、このアプリ課金しないと使い物にならないんですかね?課金する気がないので確認のしようがないですが。

App Storeの評価とレビューより

ちなみに有料アプリじゃなくて、アプリ内課金にさせていただいているのは、推奨端末が限られているので、一度デフォルトキャラクターのミチコでご体験いただき、ちゃんと動くか確かめていただきたいからです。

推奨端末見ないで買ってからじゃ、お金無駄になっちゃいますしね・・・!

ちゃんと!ミチコが動くか確認してから!課金を利用してくださいね!!!!!!!!!!!!!!!(念押し)

画面キャプチャーで録画& SNSシェア!

ミチコンPlus自体には画面の録画機能は搭載していません。

が、画面キャプチャはiPhoneのデフォルト機能でできちゃいます!

ちょっと画面の録画を初めて行う方は一手間必要ですので、設定方法は下記URLからご確認ください。

iOS 11 以降では、画面の録画と音声の録音ができます。 

撮影した動画はぜひSNS等で投稿してみてくださいね!
(ちなみに「#ミチコンPlus 」のハッシュタグがついてると喜びます。

【2020/1/17更新】音街ウナちゃんが電撃参戦!初期キャラクターとして利用可能に

ボーカロイドとしても活躍する、バーチャルアイドル「音街ウナ」ちゃんがミチコン Plusとコラボしましたー!

【スマホでモーキャプ】ミチコンPlusに音街ウナちゃんが電撃参戦!

今まで、最初に動かせるキャラクターは、弊社バーチャル広報担当のミチコだけでしたが、音街ウナちゃんを選択できるようになったことで、いつでも好きなタイミングで音街ウナちゃんを思い通りに動かせます。

モーションデータの書き出し機能を利用すると、アニメーション作成にも活用できそうですね!

▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=5620

利用者の声は?

前回のミチコンは、VisionPose Single3Dの利用例としてリリースさせていただいたアプリだったので、利用できるキャラクターといえば、バーチャル広報担当のミチコだけでした。

今回はキャラクター変更ができるようになったので、実際に使ってくれたユーザーの方が多かったように思います。せっかくなので一部ご意見をまとめてみました。

ARKit3がリリースされましたね。今回は恐れ多くもAppleさんの『ARKit3』と弊社モーキャプアプリ『ミチコンPlus』で比較検証をしたので、まとめてみました。

ARkit3が登場!ミチコンの方向性は?

先日ARkit3がついにリリースされましたね!ARkit3ではモーションキャプチャ機能が追加され、弊社でもミチコンのことを考えるとちょっとヒヤヒヤしたり、でも純粋にAR開発もやってるので、とても楽しみだったりと、なんだか面白い心境です。

ミチコンについていうと、社内では

・ARkit3を利用した方が良いんじゃないか説
・このままVisionPose Single3Dを利用した方が良いんじゃないか説

という選択肢が爆誕してます。

どちらになるか、近々検証し、検証結果はブログ等にまとめていこうと思います。

まとめ

というわけで、今回リリースさせていただたミチコンPlusについて軽くまとめさせていただきました。

ご紹介した以外にもご意見やご要望いただきましたので、これからはそちらも検討しつつ、素敵なアプリにしていけるよう頑張ります。

えっ、え〜〜〜〜〜〜〜〜〜???????

モーションキャプチャしている技術自体を使って、ゲームやVR、ARを作りたいって?????????

しょうがないですね、そんなあなたには当社製品の、

AI骨格検出システム「VisionPose Single3D」!!!!

ミチコンPlusには同システムのiOS版を利用しています。ひとまずWindows Unityでご提供を開始しました。iOS版をご利用になりたい方は続報をお待ちください。

詳細はこちらからどうぞ〜!

UnityとiOS/iPadOSに対応!マーカレスの簡単モーションキャプチャ。カメラ1つで骨格検出できる、姿勢推定AIエンジン「VisionPose Single3D」。

ネクストシステムは、AI(人工知能:DeepLearning)・VR(仮想現実)・MR(複合現実)・AR(拡張現実)・iPhone・Android開発を得意とする東京・福岡のシステム開発会社です。開発のご相談はお気軽にお問い合わせください。

・・・すいませんでした。

トップへ戻る