【悲報】Kinect(キネクト)が販売終了!Kinect以外に代替案として使えそうな案を考えてみた。

シェアする?

KinectとRealSenseD435比較

更新履歴

■2023年9月7日追記
・Azure Kinect DK生産終了のお知らせ

■2019年9月24日追記
・カメラ1つで骨格を検出可能なVisionPose Single3Dについて追加
・スマホで全身モーションキャプチャが可能なミチコンPlusリリースについて追加
■2018年11月19日追記
11月19日より製品版を法人のお客様向けに販売開始いたしました!
■2018年9月27日追記
・VisionPoseを使っていろいろな3Dキャラクターを動かすデモを追加
■2018年8月27日追記
・VisionPoseのプロモーション動画を追記
・追加学習ができるようになったことを追記
■2018年3月19日追記:
・『NuiTrack』がIntel RealSense Depth Cameraに対応したため項目を追加
・『NuiTrack』がOrbbec Astra S / Astra Proに対応したため項目を追加
・RealSense R200がintelのストアで検索できなくなってしまったため削除
・Xtion2がNiTEに対応してボーンが取れるようになったため追記
・「ステレオカメラにプログラムを入れる」、『VicoVR』の項目を備考に移動

・まとめに現在のおすすめを追記
・更新しすぎて読みにくかったので全体的に微修正など
■2018年1月15日追記:
VisionPoseの項目を更新
■2017年12月22日追記:VisionPoseの項目を追加
■2017年10月29日追記:Xtion2の項目を追加、openMVGの項目を追加

はじめに

みなさんこんにちは。

ネクストシステムの広報担当田中です。

先日、モーションキャプチャー系の開発者にとって衝撃的なニュースが舞い込みましたね。

そう、Kinectの販売停止!!

Microsoftは「Kinect」の生産を終了した。在庫限りで販売を終える。販売済み製品のサポートは続けるという。

また、いつのまにかアダプタも製造中止になっていた模様。

XboxのKinect、覚えてますか。とにかく感謝されない一生を送ってきたXbox Oneの付属品ですが、昨年10月の製造停止に加えて、先日KinectのUSBアダプターの製造停止も発表され、本格的にご臨終となったようです。

Kinect(キネクト)とは?

「Kinect(キネクト)はマイクロソフトから発売されたジェスチャー・音声認識によって操作ができるデバイス。」
「RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。これにより、プレイヤーは自分自身の体を使って、直観的にビデオゲームをプレイすることができる。」(wikipediaより抜粋

どこもかしこも在庫が一瞬でなくなりましたよね。恐ろしい。

衝撃のあまり、とりあえずお酒でも飲みにいった方もいらっしゃるのでは・・・(白目)

しかしなくなってしまったものはしょうがない!

そんなわけで、Kinectの代わりはあるのか!

Kinectの次に使えそうな代替案を考えてみました〜!

ネクストシステムは、AI(人工知能:DeepLearning)・VR(仮想現実)・MR(複合現実)・AR(拡張現実)・iPhone・Android開発を得意とする東京・福岡のシステム開発会社です。開発のご相談はお気軽にお問い合わせください。

Kinectの代わりになりそうな類似製品を試す

Intel RealSense Depth Camera D415・D435

Intel RealSenseデプスカメラの最新版が2018年1月18日より販売開始されています。
基本モデルがD415、上位機種となるのがD435です。
仕様の比較はこちら。

D415 D435
環境 屋内/屋外
深度技術 Active IR stereo(ローリングシャッター) アクティブIRステレオ
(グローバルシャッター)
主要Intel RealSenseコンポーネント Intel RealSense Module D410
Intel RealSense Vision Processor D4
Intel RealSense Module D430
Intel RealSense Vision Processor D4
深度センサ視野角(水平x垂直x斜め) 69.4° x 42.5° x 77°(±3°) 91.2°x65.5°x100.6(±3°)
出力解像度 最大1280 x 720
出力フレームレート 最大90 fps
最小深度距離(Min-Z) 0.3 m 0.2 m
シャッタータイプ ローリングシャッター グローバルシャッター
最大レンジ 約10 m(較正、背景、照度状況による)
 解像度およびフレームレート(RGBセンサ) 1920 x 1080@30 fps
 RGBセンサ視野角(水平 x 垂直 x 斜め) 69.4° x 42.5° x 77°(±3°)
本体寸法(長さ x 奥行き x 高さ) 99 mm x 20 mm x 23 mm 90 mm x 25 mm x 25 mm
 コネクタ USB 3.0 Type-C
 取付機構 1 x 1/4-20 UNCネジ穴、2 x M3ネジ穴

Intel RealSense Depth Camera D435を弊社でも購入させていただきました!

KinectとRealSenseD435比較

KinectとRealSenseD435比較

すごく・・・小さいです。
Kinectの6分の1くらいや。。。

お試し風景がこちら。
ちょっとボーダーの深度が正確に取りづらいようですが、設定で改善できるか今後試してみようかなと思います。

【デモ動画】Intel RealSense Depth Camera D435をお試し!

気になるお値段は、スイッチサイエンスさんで、D415が税込24,300円、D435が28,350円です。

ってやっす!やっすいぞ!

Intel RealSense Depth Camera D400シリーズは、深度計測が可能なステレオビジョンの深度カメラです。深度センサ(二つ)、RGBセンサ、IR投射器を搭載し、USB給電で動作します。D435はグローバルシャッターと広い視野角(91.2° x 65.5° x 100.6°)を備え、移動体を測定した...

ただ、人気すぎて在庫が・・・入ってくるときを逃してはなりません。

【↓2018年3月19日追記】

NuiTrack+Intel RealSense Depth Camera D415・D435

RealSense D415、D435は画期的なデバイスです。

ただ、現状のRealsenseSDKには骨格検出の機能がありません。

まだ登場したばかりであったため、対応するソフトがなかったのですが、

深度センサー用ボーントラッキングSDK『NuiTrack』がRealSenseに対応しました!

■Nuitrackとは
「Nuitrack is the only cross platform skeletal tracking and gesture recognition solution that enables Natural User Interface (NUI) capabilities on Android, Windows, Linux, and iOS platforms」
=「Nuitrackは、Android、Windows、Linux、およびiOSプラットフォームでNaturalユーザーインターフェイス(NUI)機能を有効にする唯一のクロスプラットフォームの骨格追跡とジェスチャ認識ソリューションです。」(会社HPより

しかもNuiTrack SDKはスマホでも動くくらい軽く、

windows用で年間29ドル、永久ライセンスで59ドル、や、安い・・・

ボーンの精度はややバタついてる印象ですが、クロスプラットフォーム、複数の深度センサーに対応しているのは素敵です。有力な候補としていかがでしょうか。

NuiTrackのWEBサイトはこちら。

Nuitrack is the only cross platform skeletal tracking and gesture recognition solution that enables Natural User Interface (NUI) capabilities on Android, Window...

Orbbec Astra, Astra S & Astra Pro

The Orbbec Astra Series cameras are designed for high quality depth processing. Long-range, short-range & RGB versions offered. Learn more & Shop online.

ジェスチャーコントロール、ロボット技術、3Dスキャン、ポイントクラウド開発など、幅広いシーンで使える3Dカメラです。

人間の骨格を検出するためには『OpenNI』などを追加する必要がありそうです。

※Orbbec Body Tracking SDK

Orbbec専用のSDKを今開発中で現在ベータ版が出ているようです。

Looking to download Orbbec's software development kits (SDK)? Look no further. Orbbec offers SDKs for Windows, Ubuntu, Mac OS & Android. Download today.

【↓2018年3月19日追記】

深度センサー用ボーントラッキングSDK『NuiTrack』がOrbbec Astra S / Astra Proに対応されました。

Nuitrack is the only cross platform skeletal tracking and gesture recognition solution that enables Natural User Interface (NUI) capabilities on Android, Window...

Xtion 2

こちらも深度センサーとRGBセンサーを備えたUSB 3.0接続のモーションキャプチャデバイスです。

弊社でも以前購入させていただきましたが、ボーントラッキング(骨格認識)はまだできません。
いわゆるモーショントラッキングが可能になるNiTE対応は、別製品として後日販売予定とのこと。弊社はボーントラッキング重視なので発売を楽しみにしております。

【↓2018年3月19日追記】

NiTEに対応してボーンが取れるようになったようです。

■NiTE対応OpenNI 2.2 SDK Package(ドライバ)はこちらから。
https://www.asus.com/jp/3D-Sensor/Xtion-2/HelpDesk_Download/

Azure Kinect DK

Kinect DK(Azure Kinect Development Kit)とは?

「Azure Kinect DK は、高度な AI センサーを搭載した、コンピューターによる先進的な視覚モデルや音声モデルを実現するための開発者キットです。これは、汎用性のある設計で、高度な深度センサーと空間マイク アレイ、ビデオ カメラ、方位センサーが1つにまとまっており、複数のモード、オプション、SDK を備えています。」(Windows Blogより抜粋

しかし、生産終了が2023年8月22日に生産終了が発表されてしまいました…。

数々の類似製品の生産終了を経て、Vision Poseは誕生したのです…!
▼Vision Poseの誕生の背景はこちら

考察

他にもいくつかあがりましたが、使えそうなものだけピックアップしてみました。

ハード系は簡単に手に入りますが、Kinectと同じように販売停止となってしまう恐れも・・・

もう少しハードに依存しない代替案を考えておきたいところです。

WEBカメラとAI(人工知能)系技術を併用する

そんなわけで弊社ではこんなこともあろうかと、DeepLearningを使ったモーションキャプチャーを以前より検討してました。

OpenPose

Multi-Person Face/Body/Hand Keypoint Detection

弊社でもOpenPoseを試してみましたが、クオリティは高いです。

ただOpenPoseの場合、非商用だったら無料で使えるのですが、商用利用だと年額25000ドル(約270万円)程度かかるので、少しお財布と相談する必要がありますね。

OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation - CMU-Perceptual-Computing-Lab/openpose

DeepPose

AI(DeepPose)を使用した姿勢検知のテスト

上記動画はGoogleから以前発表された『こうやれば人間の姿勢が取れるよ!』ということが書いてある論文を元に有志が作ったソースをベースに弊社で独自にカスタマイズしたものです。

(https://github.com/mitmul/deeppose)

上半身だけですが結構うまく取れてますね。クオリティはデータ次第とのこと。

考察

どちらも基本的には2Dです。

一応、新しいOpenPoseだと3Dも可能みたいですが、認識自体は2Dで認識し、計算して3D化しているようです。そのため3Dにするには色々と制約がありそうなのが難点ですね。

ただし、OpenPoseくらいのクオリティがあれば、カメラ2台を広めの間隔で置けば使えそうとのことでした。

まだ人物切り抜きなどは難しいかもしれないですが、モーション検知が目的ならこちらでも問題なさそうです。

赤外線を使うハードウェアの場合、基本的には太陽光に弱いため屋外で使うのは難しいですが、こちらの方法なら画像認識で赤外線を使用しないので屋外でも使用は可能。

Kinectは赤外線なので5mくらいしか届きませんが、WEBカメラを使う方法でしたら広範囲を検索できます(カメラの解像度にもよりますが)

※最近は『LIDAR』というレーダーで検知するシステムもあるみたいですが、まだまだ気軽に導入できる金額ではなさそう。

あとはAIは認識に少し時間がかかるのでFPS30以上くらい出せないとリアルタイムにすることができないこと、GPUが高いPCが必要なことが懸念ポイントです。

ディープラーニング(深層学習/DeepLearning)の最新技術(VAE,CNN,R-CNN,LSTM,GAN/敵対的生成ネットワーク)やニューラルネットワークなどを利用した、さまざまな最新の人工知能システムを開発しています。

 VisionPose®(ビジョンポーズ)とは

Kinectの販売中止が発表されて早2ヶ月。
弊社ではその後色々検討を重ね、ついに!

Kinectに頼らずWEBカメラとDeepLearningを使った人間の骨格を検出することができるシステム、名付けて・・・

『VisionPose®(ビジョンポーズ)』を開発してしまいました!

DeepPoseやOpenPoseなどと同様に、WEBカメラのみで人間の骨格を検出することが可能なため、手軽に様々な開発に利用できそうですね。

VisionPoseの特徴についてはこちらからご確認ください。

WEBカメラだけで3D解析を行うAI骨格検出システム「VisionPose(ビジョンポーズ)」は人間の動きを測定したい方のための唯一の国産SDKです。リアルタイム検出だけでなく動画や静止画からも骨格検出が可能。各種スポーツでのフォーム解析や監視システムへの組み込み、Vtuber配信など、さまざまなシーンでお使いいただけ...

3Dでの測定が可能に。

ただ、やはりKinectの代替品にするためには深度(奥行き)を測れるようにしたいところ・・・!

というわけで深度計測もできるようになりました。

【DeepLearning】VisionPose®深度測定実験デモ(複数人対応)

アノテーションツールで自社での追加学習が可能に

しかし、

骨格検出したはいいけど、精度が悪かった場合どうするの?

こんな時にも対応すべく、VisionPoseは追加学習ができるようになりました。

詳しくは下記リンクから!

AI(DeepLearning)とWEBカメラを使って人間の骨格を検出するシステム『VisionPose(ビジョンポーズ)』を3月にリリースしたα版のフィードバックを元に、β版の開発に取り組んでいます。学習済データ(モデル)の追加学習が可能になり、さらに特定動作の教師データを作成するシステム『アノテーションツール』を開発しました。これにより自社での追加学習が可能になったので、今回はVisionPose®の追加学習周りのことをまとめてみようと思います。

Vtuber、MMD、漫画、アニメ用のモーションキャプチャーとして

【↓2019年9月24日追記】

また、スポーツ、医療、工場などさまざまな分野でお問い合わせいただくことの多いVisionPoseですが最近だと、「Vtuber、MMD、漫画、アニメなどを作る際にモーションキャプチャとして利用したい!」というお問い合わせをいただくことも多いです。

そんなわけで!
カメラ1つだけで人間の骨格を検出できるVisionPose Single3DにWindows Unity版をリリースしました!

▼VisionPose Single3D WEBサイト

UnityとiOS/iPadOSに対応!マーカレスの簡単モーションキャプチャ。カメラ1つで骨格検出できる、姿勢推定AIエンジン「VisionPose Single3D」。

もっと手軽にVTuberになりたい、というあなたには

お手持ちのiPhoneやiPadだけで全身のモーションキャプチャが可能なiOSアプリ「ミチコンPlus」!!

をオススメします。
使い方は超簡単で、全身をカメラにうつすだけです。
VRoid Hubさんと連携やモーションデータの書き出し機能(CSV)もあります。(PRO機能)

PRO機能は370円/月で口座から自動で引き落としされる自動更新型ではなく、都度ご購入いただく非更新型となってます。

簡単なモーションキャプチャシステムとしていかがでしょうか?

▼ミチコンPlusのダウンロードはこちらから
https://apps.apple.com/jp/app/id1468862870

▼ミチコンPlus WEBサイト

スマホだけでVチューバー!マーカレスでリアルタイムの全身モーションキャプチャが可能なiOSアプリ「ミチコンPlus」。VRoid HubにUPしたキャラクターに変更したり、モーションデータの書き出しも可能

まとめ

【↓2018年3月19日追記】

どんどん新しいものが登場してきていますね。

色々と試してみていますが、使ってみた今のところの印象としては、


・手軽さ重視→RealSense+NuiTrack、もしくはXition2+NiTEあたり

・精度重視→OpenPoseやVisonPoseのようなAI系の技術を使ったもの

みたいな形で使い分けるのが良さそうかなと思ってます。Kinectの生産終了でやけ酒を煽られた方の参考になれば幸いです。それぞれ一長一短あるので、目的との相談が必要ですね。

引き続き弊社でも一番より良い方法を検討します。

ピンチに強いネクストシステムへのお問い合わせはこちら

kinesysお問い合わせ

備考

【↓2018年3月19日追記】

オススメは『まとめ』でご紹介した通りですが、他にも下記のような方法がありますのでご参考にどうぞ。

VicoVR

VicoVR | Wireless, Full Body Gaming System for Mobile VR

パッケージ化されてるため、手を加えなくてもそのまま使えるようです。PCも必要ないそう。

1つだけ挙げるのであれば、RGBカメラの解像度がHPに書いてないところが、少し不安要素としてあるようです。

値段はメーカー版で$499(5万円くらい)です。

ZED Stereo Camera

Stereolabs provides revolutionary vision-based AI perception for autonomy and sensing. Get compact, affordable, high accuracy AI cameras. Shipping now.

ステレオカメラから取得したプログラムを元に、3Dの座標を計算するプログラムを入れてあげるとことで3Dスキャンを使うことが可能です。

ステレオカメラとは?

対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。 通常は、1台で両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能になっているものをさす。(wikipediaより抜粋)

 openMVG

最近、この手の2D→3D復元系のライブラリを色々と調べている。何となく、自分で3D復元ツールを作ってみたくてね。 この間のOpenGVは複数画像からカメラ(視点)の3次元位置・姿勢を推定するライブラリだった↓ こっちのopenMVG(Mul

2D→3Dの変換用のライブラリ例として、こんなのも出てるよ〜!とご教示いただきました。(ありがとうございます!)

オープンソースでライセンスもフリーみたいです。

ご参考にどうぞ^^

※より詳しく知りたい方はこちら

open Multiple View Geometry library. Basis for 3D computer vision and Structure from Motion. - openMVG/openMVG

※公式ドキュメントはこちら

ネクストシステムは、AI(人工知能:DeepLearning)・VR(仮想現実)・MR(複合現実)・AR(拡張現実)・iPhone・Android開発を得意とする東京・福岡のシステム開発会社です。開発のご相談はお気軽にお問い合わせください。
トップへ戻る