みなさんこんにちは。ネクストシステム広報担当の田中です。
2019年9月5日に、スマートフォンだけで全身をモーションキャプチャできるiOSアプリ「ミチコンPlus」をリリースさせていただきました！
▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=4459
▼ミチコンPlusのダウンロードはこちら
https://itunes.apple.com/jp/app/id1468862870
▼ミチコンPlusの WEBサイトはこちら
https://www.next-system.com/michicon
同年5月に「ミチコン」というアプリをリリースしましたが、こちらは弊社バーチャル広報担当のミチコになりきれる、というアプリでした。
今回ミチコンPlusでは「キャラクター変更機能」「モーションデータ書き出し機能」「iPad対応」「リップシンク対応」など追加しパワーアップ！
というわけで、ミチコンPlusでどういったことができるのか、またその便利な使い方をご紹介させていただきます。
もくじ
ミチコンPlusでできること
ミチコンPlus画面説明
ミチコンPlusにはさまざまな機能が！
基本的にはタップだけで直感的にご利用可能です。
全身をリアルタイムでモーションキャプチャできる！
ミチコンPlusの一番の特徴は、リアルタイムのフルボディトラッキングをお手持ちのiPhoneやiPadでできることです。
通常、全身のモーションキャプチャを行う際は、トラッカーを全身につけたり、カメラ機材を揃えたり、スタジオで撮影したりする必要がありました。でもこれって・・・
正直、あまりお手軽とはいえない！！！
そこで弊社が独自開発する、カメラから人間の骨格情報を検出するAIシステム「VisionPose（Single3D）」を利用して、スマホやタブレットだけでマーカレスのモーションキャプチャができるようにしてみました。
ミチコンPlusで綺麗にモーキャプするときに気をつけることは、前ミチコンと一緒なので下記のブログをご確認ください。
現代社会の荒波を乗りこなす忙しき方のために、簡単にいうと
・人間を写す
・カメラ or 動画に全身が写っている
・定点からの撮影
・体の線がわかりやすい服がおすすめ
・ごちゃついてない背景
・ゆっくりめに動く
ということです。
体の線がわかりやすい服というのは、つまりは下の画像のようなことを言います。わかりやすいですね。
しかし！こんな方も多いのでは。
「スペックが足りなくて動きがふわ〜〜〜〜っとしちゃう！」
ミチコンPlusではリアルタイムでのモーションキャプチャをするために、結構なハイスペックを求められます。AI（ディープラーニング）で人間の骨格を検出しているので、しょうがないところもあるのですが、これでは制限が厳しい。。。
ということで。我がミチコンチームは対策を立てました。
動画読み込みモードを搭載！
リアルタイムでのモーションキャプチャの他に、端末に保存された動画からモーションキャプチャが可能になりました。（最大15秒）
この機能を利用することで、対応端末でないユーザーの皆様にも手軽なモーションキャプチャをお楽しみいただけます。
ミチコンPlusが、リアルタイム撮影に加え、動画ファイルからもモーションキャプチャできるようになりました！(最大15秒)
— NEXT-SYSTEM（AI/AR/VR） (@NEXT_SYSTEM_Co) November 1, 2019
対応端末外だった方にもオススメ。デフォルト機能なのでお気軽にお試しください^^
▼DLはこちらhttps://t.co/kfVb5peyvo#ミチコンPlus #VTuber pic.twitter.com/sHARBbcGal
また、自分の分身であるキャラクターにダンスさせたいけど、ダンスなんて無理ぽょ・・・という方にもおすすめです。（使用条件には注意してくださいね）
ちなみに使い方はこんな感じです。
※端末によって時間が多くかかる場合があります。
VRoid Hubと連携！！キャラクター変更ができる（PRO機能）
前回ミチコンをリリースした際、寄せられた声は多分こんな感じ。
・キャラクター変更したい
・モーションデータ書き出ししたい
・Android対応
というわけで！熱いご要望にお答えし、
VRoid Hubと連携しましたー！
VRoid Hubとは？
VRoid Studioなどで作成した（人型の）3Dモデルデータをアップロードできるプラットフォームです。SDKを導入した各種VR/ARプラットフォームや3Dコンテンツ内で、VRoid Hubに登録されたキャラクターを呼び出し、共通のアバターとして利用することができます。
VRoid公式ページより
ミチコンPlusではVRoid Hub（Pixiv）アカウントを入力して連携すると以下の条件で使えるようになります。
・VRoid Hubに登録済みのpixivアカウントである。
・"♥"を押したキャラクターが少なくとも1人いる。もしくは、自作のキャラクターが少なくとも1人いる。
・登録してあるキャラクターが以下の利用条件を満たしている。
①"公開キャラクター"もしくは"自作のキャラクター"である。
②"アバター利用がOK"である。
③"個人利用がOK"である。
「3Dキャラクターを持ってないよ・・・」というあなたもご安心ください。
同シリーズでモデリング技術がない方でも無料で、しかも自由に３Dキャラクターが作れる「VRoid Studio」や、「VRoid Studio」よりもちょっと自由度は下がるけれど、超簡単でしかもスマホで３Dキャラクターが作れる「VRoid Mobile」という神アプリがあります。
もちろん作成したキャラクターは、VRoid Hubにアップロードして、ミチコンPlusで動かしてみてください。
▼VRoid Hub
https://hub.vroid.com
▼VRoid Studio
https://vroid.com/studio
▼VRoid Mobile
https://vroid.com/mobile
Androidについては、搭載するために弊社でも調査を進めていますが、現状のAndroid搭載チップでは十分なパフォーマンスが出せるところまで至っていません。
ただ、対応端末でないユーザーの皆様に使っていただけるように、クラウド版の開発を進めています。
Androidユーザーの方にはお待たせして申し訳ありません！
引き続き調査検討を進めてまいります。
CSVでのモーション書き出しが可能（PRO機能）
他にもご要望の多かった、モーションデータの書き出し機能を追加しましたー！
撮影したモーションデータはCSVで書き出されます。
書き出ししたモーションデータは、Unityのヒューマノイドアバターの関節から取得しています。
CSVの構成は以下！※1行目はヘッダになります。
1列目：経過時間（秒）
2列目：HumanBodyBones.HipsのlocalPosition
3列目~：各関節のlocalRotation.eulerAngles
取得できる関節は以下となります。
Hips
Spine
Neck
LeftUpperArm
LeftLowerArm
RightUpperArm
RightLowerArm
LeftUpperLeg
LeftLowerLeg
RightUpperLeg
RightLowerLeg
※１関節につき３列ありますが、それぞれx、y、z座標を示しています。
ちなみに、フォーマットもデータも、基本的に利用規約の禁止行為の項目に該当しない使い方であれば、ご自由にご利用ください。
Unityで利用する場合は、CSVからUnityの.animに書き出すためのパッケージ等をご利用いただくと、アニメーションファイルにでき、二次利用等にご活用できます。MMDで利用する場合もVMDなどに変換が必要です。
（変換するためのスクリプト、誰か作ってくれないかなあ・・・）
・・・と思ってたら社員が作ってくれました。これで少し楽になりますかね。
ミチコンPlusで吐き出したCSVをUnityのアニメーションデータに変換するプロジェクトを公開しました。
— NEXT-SYSTEM（AI/AR/VR） (@NEXT_SYSTEM_Co) October 4, 2019
■使い方https://t.co/4rIJUHabHJ
■GitHub https://t.co/EVOpKur0Wj
#ミチコンPlus #VRM
ちなみに3Dキャラクターをお持ちではない方用に、弊社のバーチャル広報担当ミチコをお貸しいたします！奮ってDLください。
こんにちは。
— ざきP@ミチコン開発者 (@uZakiP238592) November 21, 2019
弊社の広報担当”ミチコ”を公開しました！
以下のガイドラインを熟読の上ご使用ください✌️
【ガイドライン】https://t.co/5AXxMq7j2b
【ミチコ 】 https://t.co/ZWUlj2dotN… #VRoid #VRoidHub #ミチコンPlus
MMD等の利用につきましては、こちらのブログからご確認ください。
▼ミチコン利用規約はこちら
https://www.next-system.com/michicon-terms
グリーンバック・AR背景に対応
グリーンバックやAR背景にも対応しています！
グリーンバックを利用すると、緑になった部分が綺麗に抜けるので背景が思いのまま！配信にぴったりの機能です。
クロマキー合成での配信はOBS Studioなど利用すると、簡単にできますよ。
リアルタイムでの配信に使わないのであれば、Perfect Videoなどの動画アプリでも簡単に合成できます。
ミチコンPlusで背景を変えたいよ、という方へ。
— NEXT-SYSTEM（AI/AR/VR） (@NEXT_SYSTEM_Co) September 13, 2019
前回に引き続きミチコンPlusにもグリーンバック機能があるので、こんな感じでクロマキー合成できますよー。#ミチコンPlus https://t.co/srDdUQ7KfF
ARモードを利用すると、キャラクターの背景を背面カメラの映像にできます。
キャラクターがまるで現実空間にいるような映像が撮影できます。
ミチコンPlusではiOS13から追加されたばかりの、マルチカメラ機能をさっそく利用しています。新しい機能は速攻で使っていくスタイルです。
マルチカメラ機能を利用して、前面カメラの映像、または動画ファイルから人間の動きをモーションキャプチャし、背面カメラに映った映像をキャラクターの背景として描写するARモードを実現しました。
一点だけご注意が！ARモードの利用にはiOS13以上の端末が必要です。
利用できる端末は、次の項で。
推奨端末と料金体系について
ミチコンPlusのリアルタイム時の推奨端末とARモード時の対応端末は下記。基本的にはA12チップのプロセッサが入っている端末を推奨しています。ARモードの利用には端末に制限があります。
iPhone XS/XS MAX/XR
iPhone 11～
iPhone SE（2nd〜）
iPad mini(5th〜)/Air(3rd～)/Pro 11inch(1st～)/Pro 12.9inch(3rd～)
iPad(8th〜)
※iPad mini（5th〜）とiPad Air（3rd〜）はAR機能が非対応です。
リアルタイムでのモーショントラッキングの場合はA12以上じゃないとフレーム数が上がらなくて、リアルタイム性が大きく損なわれますので、ミチコンPlusの利用はなかなか難しいところがあります。
が！！
動画読み込み機能を利用すると、推奨端末でなくても簡単なモーショントラッキングは可能なので、推奨端末でない方も諦めないで！
また、ダウンロード自体は無料ですが、キャラクター変更やモーション書き出し機能をご利用される場合は、370円360円／月をいただいています。自動更新ではなく１ヶ月ごとに都度手動でご購入いただく非更新型なので、使いたい時に使っていただけるようにしてみました。
※2019年10月1日からの消費税率変更に関連し、Apple社よりApp Storeのアプリ価格改定が発表されました。それに伴い、iOSアプリ「ミチコンPlus」のPRO版機能の価格表記を360円から370円に変更いたしました。
そんな料金体系にこんなご意見も。
なんで１万回いいね押せないの？？？？
簡易モーションキャプチャー環境作るのに、Kinectとか買ったりしたけどミチコンPro圧倒的簡単で精度高いのでそれが300円ちょいで自分のモデルに適用できるの凄いこと。しかもCSVでモーション書き出しできるのだから大盤振る舞い #ミチコンPlushttps://t.co/iTRz9qLDvM
— まじかる☆しげぽん@VRoid (@m_sigepon) September 5, 2019
もちろんこんなご意見もありましたので、完全に贔屓目で観ている内部の人間の声だと思ってくださいませ・・・！
アプリ内課金の表記が入ったことはいいですが、このアプリ課金しないと使い物にならないんですかね？課金する気がないので確認のしようがないですが。
App Storeの評価とレビューより
ちなみに有料アプリじゃなくて、アプリ内課金にさせていただいているのは、推奨端末が限られているので、一度デフォルトキャラクターのミチコでご体験いただき、ちゃんと動くか確かめていただきたいからです。
推奨端末見ないで買ってからじゃ、お金無駄になっちゃいますしね・・・！
ちゃんと！ミチコが動くか確認してから！課金を利用してくださいね！！！！！！！！！！！！！！！（念押し）
画面キャプチャーで録画& SNSシェア！
ミチコンPlus自体には画面の録画機能は搭載していません。
が、画面キャプチャはiPhoneのデフォルト機能でできちゃいます！
ちょっと画面の録画を初めて行う方は一手間必要ですので、設定方法は下記URLからご確認ください。
撮影した動画はぜひSNS等で投稿してみてくださいね！
（ちなみに「#ミチコンPlus 」のハッシュタグがついてると喜びます。
【2020/1/17更新】音街ウナちゃんが電撃参戦！初期キャラクターとして利用可能に
ボーカロイドとしても活躍する、バーチャルアイドル「音街ウナ」ちゃんがミチコン Plusとコラボしましたー！
今まで、最初に動かせるキャラクターは、弊社バーチャル広報担当のミチコだけでしたが、音街ウナちゃんを選択できるようになったことで、いつでも好きなタイミングで音街ウナちゃんを思い通りに動かせます。
モーションデータの書き出し機能を利用すると、アニメーション作成にも活用できそうですね！
▼プレスリリースはこちら
https://www.next-system.com/topics/release/post=5620
利用者の声は？
前回のミチコンは、VisionPose Single3Dの利用例としてリリースさせていただいたアプリだったので、利用できるキャラクターといえば、バーチャル広報担当のミチコだけでした。
今回はキャラクター変更ができるようになったので、実際に使ってくれたユーザーの方が多かったように思います。せっかくなので一部ご意見をまとめてみました。
#ミチコンPlus で全身キャプチャしてみましたー。
— 灯火(ともしび) (@tomo_shi_vi) September 5, 2019
全身の大まかな動きはしっかり取れてるし、VroidHubに上げた自分のアバター使えたよ！
アバターの画面内の位置を固定できないので、セッティングが命！って感じ……スマホ置く場所もちゃんとなかったのでかなり上寄り…… pic.twitter.com/gIaOIWoYKc
動く！回転もできる！
— すみっこのさな(ママ) (@37atrie_007) September 7, 2019
知識ないけど凄いことは分かるぞ！
#ミチコンPlus pic.twitter.com/KfWbAcvKrO
iPhoneを使って初フルトラッキングに興奮するミディちゃん pic.twitter.com/ENEMJjzsdA
— ミディ 作曲&音楽Vtuber @秋M3 P-05b (@mid_midy) September 5, 2019
iPad Proだけでお手軽にモーションキャプチャーできるのすごい(๑╹ω╹๑ ) 課金すればVRoid Hubと連携して自分のアバターが使えるようになったり、モーションのデータが書き出せるようになったりします(๑╹ω╹๑ )#ミチコンPlus #VRoidHub #セシル変身 pic.twitter.com/mu7GNXQOUj
— らぷたん@VケットPPP-Pastel (@Velocirapturn) September 5, 2019
やったぜ！
— 間下肇@スマホ系Vtuberはじめました #バーチャルyoutuber (@VTuber_Mashita) September 8, 2019
スマホだけで #モーションキャプチャー できるアプリ #ミチコンplus
を試してみましたー
どうでしょうか？？
ちょっと上下に揺れてるけど、きっとこの辺は改善されるだろうなーという範囲です。
グリーンバック背景も可能で、凄いことにキャプチャデーターの取り出しにも対応。 pic.twitter.com/qA9LjJSR99
ARkit3が登場！ミチコンの方向性は？
先日ARkit3がついにリリースされましたね！ARkit3ではモーションキャプチャ機能が追加され、弊社でもミチコンのことを考えるとちょっとヒヤヒヤしたり、でも純粋にAR開発もやってるので、とても楽しみだったりと、なんだか面白い心境です。
ミチコンについていうと、社内では
・ARkit3を利用した方が良いんじゃないか説
・このままVisionPose Single3Dを利用した方が良いんじゃないか説
という選択肢が爆誕してます。
どちらになるか、近々検証し、検証結果はブログ等にまとめていこうと思います。
まとめ
というわけで、今回リリースさせていただたミチコンPlusについて軽くまとめさせていただきました。
ご紹介した以外にもご意見やご要望いただきましたので、これからはそちらも検討しつつ、素敵なアプリにしていけるよう頑張ります。
えっ、え〜〜〜〜〜〜〜〜〜？？？？？？？
モーションキャプチャしている技術自体を使って、ゲームやVR、ARを作りたいって？？？？？？？？？
しょうがないですね、そんなあなたには当社製品の、
AI骨格検出システム「VisionPose Single3D」！！！！
ミチコンPlusには同システムのiOS版を利用しています。ひとまずWindows Unityでご提供を開始しました。iOS版をご利用になりたい方は続報をお待ちください。
詳細はこちらからどうぞ〜！
・・・すいませんでした。
