【悲報】Kinect(キネクト)が販売終了!Kinect以外に代替案として使えそうな案を考えてみた。

シェアする?

Kinectなくなって落胆する人

更新履歴

■2017年10月29日追記:Xtion2の項目を追加、openMVGの項目を追加
■2017年12月22日追記:VisionPoseの項目を追加
■2018年1月15日追記:
VisionPoseの項目を更新
■2018年2月2日追記:
・Intel RealSense Depth Camera D415・D435が販売されたための項目を追加
■2018年3月19日追記:
・『NuiTrack』がIntel RealSense Depth Cameraに対応したため項目を追加
・『NuiTrack』がOrbbec Astra S / Astra Proに対応したため項目を追加
・RealSense R200がintelのストアで検索できなくなってしまったため削除
・Xtion2がNiTEに対応してボーンが取れるようになったため追記
・「ステレオカメラにプログラムを入れる」、『VicoVR』の項目を備考に移動

・まとめに現在のおすすめを追記
・更新しすぎて読みにくかったので全体的に微修正など

はじめに

みなさんこんにちは。

ネクストシステムの広報担当田中です。

先日、モーションキャプチャー系の開発者にとって衝撃的なニュースが舞い込みましたね。

そう、Kinectの販売停止!!

Microsoftは「Kinect」の生産を終了した。在庫限りで販売を終える。販売済み製品のサポートは続けるという。

また、いつのまにかアダプタも製造中止になっていた模様。

Kinect(キネクト)とは?

「Kinect(キネクト)はマイクロソフトから発売されたジェスチャー・音声認識によって操作ができるデバイス。」
「RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。これにより、プレイヤーは自分自身の体を使って、直観的にビデオゲームをプレイすることができる。」(wikipediaより抜粋

どこもかしこも在庫が一瞬でなくなりましたよね。恐ろしい。

衝撃のあまり、とりあえずお酒でも飲みにいった方もいらっしゃるのでは・・・(白目)

しかしなくなってしまったものはしょうがない!

そんなわけで、Kinectの代わりはあるのか!

Kinectの次に使えそうな代替案を考えてみました〜!

Kinectの代わりになりそうな類似製品を試す

Intel RealSense Depth Camera D415・D435

Stereo image sensing technologies use two cameras to calculate depth and enable Intel® RealSense" machine vision devices to see, understand, interact with, and ...

Intel RealSenseデプスカメラの最新版が2018年1月18日より販売開始されています。
基本モデルがD415、上位機種となるのがD435です。
仕様の比較はこちら。

D415 D435
環境 屋内/屋外
深度技術 Active IR stereo(ローリングシャッター) アクティブIRステレオ
(グローバルシャッター)
主要Intel RealSenseコンポーネント Intel RealSense Module D410
Intel RealSense Vision Processor D4
Intel RealSense Module D430
Intel RealSense Vision Processor D4
深度センサ視野角(水平x垂直x斜め) 69.4° x 42.5° x 77°(±3°) 91.2°x65.5°x100.6(±3°)
出力解像度 最大1280 x 720
出力フレームレート 最大90 fps
最小深度距離(Min-Z) 0.3 m 0.2 m
シャッタータイプ ローリングシャッター グローバルシャッター
最大レンジ 約10 m(較正、背景、照度状況による)
 解像度およびフレームレート(RGBセンサ) 1920 x 1080@30 fps
 RGBセンサ視野角(水平 x 垂直 x 斜め) 69.4° x 42.5° x 77°(±3°)
本体寸法(長さ x 奥行き x 高さ) 99 mm x 20 mm x 23 mm 90 mm x 25 mm x 25 mm
 コネクタ USB 3.0 Type-C
 取付機構 1 x 1/4-20 UNCネジ穴、2 x M3ネジ穴

Intel RealSense Depth Camera D435を弊社でも購入させていただきました!

KinectとRealSenseD435比較

KinectとRealSenseD435比較

すごく・・・小さいです。
Kinectの6分の1くらいや。。。

お試し風景がこちら。
ちょっとボーダーの深度が正確に取りづらいようですが、設定で改善できるか今後試してみようかなと思います。

気になるお値段は、スイッチサイエンスさんで、D415が税込24,300円、D435が28,350円です。

ってやっす!やっすいぞ!

Intel RealSense Depth Camera D400シリーズは、深度計測が可能なステレオビジョンの深度カメラです。深度センサ(二つ)、RGBセンサ、IR投射器を搭載し、USB給電で動作します。D435はグローバルシャッターと広い視野角(91.2° x 65.5° x 100.6°)を備え、移動体を測定した...

ただ、人気すぎて在庫が・・・入ってくるときを逃してはなりません。

【↓2018年3月19日追記】

NuiTrack+Intel RealSense Depth Camera D415・D435

RealSense D415、D435は画期的なデバイスです。

ただ、現状のRealsenseSDKには骨格検出の機能がありません。

まだ登場したばかりであったため、対応するソフトがなかったのですが、

深度センサー用ボーントラッキングSDK『NuiTrack』がRealSenseに対応しました!

■Nuitrackとは
「Nuitrack is the only cross platform skeletal tracking and gesture recognition solution that enables Natural User Interface (NUI) capabilities on Android, Windows, Linux, and iOS platforms」
=「Nuitrackは、Android、Windows、Linux、およびiOSプラットフォームでNaturalユーザーインターフェイス(NUI)機能を有効にする唯一のクロスプラットフォームの骨格追跡とジェスチャ認識ソリューションです。」(会社HPより

しかもNuiTrack SDKはスマホでも動くくらい軽く、

windows用で年間29ドル、永久ライセンスで59ドル、や、安い・・・

ボーンの精度はややバタついてる印象ですが、クロスプラットフォーム、複数の深度センサーに対応しているのは素敵です。有力な候補としていかがでしょうか。

NuiTrackのWEBサイトはこちら。

Orbbec Astra, Astra S & Astra Pro

ジェスチャーコントロール、ロボット技術、3Dスキャン、ポイントクラウド開発など、幅広いシーンで使える3Dカメラです。

人間の骨格を検出するためには『OpenNI』などを追加する必要がありそうです。

※Orbbec Body Tracking SDK

Orbbec専用のSDKを今開発中で現在ベータ版が出ているようです。

【↓2018年3月19日追記】

深度センサー用ボーントラッキングSDK『NuiTrack』がOrbbec Astra S / Astra Proに対応されました。

Xtion 2

こちらも深度センサーとRGBセンサーを備えたUSB 3.0接続のモーションキャプチャデバイスです。

弊社でも以前購入させていただきましたが、ボーントラッキング(骨格認識)はまだできません。
いわゆるモーショントラッキングが可能になるNiTE対応は、別製品として後日販売予定とのこと。弊社はボーントラッキング重視なので発売を楽しみにしております。

【↓2018年3月19日追記】

NiTEに対応してボーンが取れるようになったようです。

■NiTE対応OpenNI 2.2 SDK Package(ドライバ)はこちらから。
https://www.asus.com/jp/3D-Sensor/Xtion-2/HelpDesk_Download/

考察

他にもいくつかあがりましたが、使えそうなものだけピックアップしてみました。

ハード系は簡単に手に入りますが、Kinectと同じように販売停止となってしまう恐れも・・・

もう少しハードに依存しない代替案を考えておきたいところです。

WEBカメラとAI(人工知能)系技術を併用する

そんなわけで弊社ではこんなこともあろうかと、DeepLearningを使ったモーションキャプチャーを以前より検討してました。

OpenPose

弊社でもOpenPoseを試してみましたが、クオリティは高いです。

ただOpenPoseの場合、非商用だったら無料で使えるのですが、商用利用だと年額25000ドル(約270万円)程度かかるので、少しお財布と相談する必要がありますね。

DeepPose

上記動画はGoogleから以前発表された『こうやれば人間の姿勢が取れるよ!』ということが書いてある論文を元に有志が作ったソースをベースに弊社で独自にカスタマイズしたものです。

(https://github.com/mitmul/deeppose)

上半身だけですが結構うまく取れてますね。クオリティはデータ次第とのこと。

考察

どちらも基本的には2Dです。

一応、新しいOpenPoseだと3Dも可能みたいですが、認識自体は2Dで認識し、計算して3D化しているようです。そのため3Dにするには色々と制約がありそうなのが難点ですね。

ただし、OpenPoseくらいのクオリティがあれば、カメラ2台を広めの間隔で置けば使えそうとのことでした。

まだ人物切り抜きなどは難しいかもしれないですが、モーション検知が目的ならこちらでも問題なさそうです。

赤外線を使うハードウェアの場合、基本的には太陽光に弱いため屋外で使うのは難しいですが、こちらの方法なら画像認識で赤外線を使用しないので屋外でも使用は可能。

Kinectは赤外線なので5mくらいしか届きませんが、WEBカメラを使う方法でしたら広範囲を検索できます(カメラの解像度にもよりますが)

※最近は『LIDAR』というレーダーで検知するシステムもあるみたいですが、まだまだ気軽に導入できる金額ではなさそう。

あとはAIは認識に少し時間がかかるのでFPS30以上くらい出せないとリアルタイムにすることができないこと、GPUが高いPCが必要なことが懸念ポイントです。

 VisionPose

Kinectの販売中止が発表されて早2ヶ月。
弊社ではその後色々検討を重ね、ついに!

Kinectに頼らずWEBカメラとDeepLearningを使った人間の骨格を検出することができるシステム、名付けて・・・

『VisionPose(ビジョンポーズ)』を自社開発してしまいました!

DeepPoseやOpenPoseなどと同様に、WEBカメラのみで人間の骨格を検出することが可能なため、手軽に様々な開発に利用できそうですね。

また、『VisionPose』では1回の処理で複数人まとめて骨格の検出が可能なため、人が増えても処理時間が一定です。

デモ動画をご覧いただくとわかりやすいのですが、複数人カメラに入ってもほぼリアルタイムで検出されてますよね。

そのため類似製品よりも複数人の骨格検出が長けていることが特徴となっています。

ただ、やはりkinectの代替品にするためには深度(奥行き)を測れるようにしたいところ・・・!

というわけで深度計測もできるようになりました。

Kinectの販売中止もあり、今後さらに期待が高まる分野になるのではないでしょうか?ご期待あれ〜

VisionPoseの開発状況の詳細はこちらから。

みなさまこんにちは。ネクストシステムの広報担当田中です。昨年10月にKinectの販売中止が決まり、モーションキャプチャー系の開発をしていらっしゃる方には『これが・・・飲まずには・・・いられるかッ・・・』というような重大な打撃を与えたのではないかと思います。

まとめ

【↓2018年3月19日追記】

いかがでしたでしょうか?どんどん新しいものが登場してきていますね。

色々と試してみていますが、使ってみた今のところの印象としては、


・手軽さ重視→RealSense+NuiTrack、もしくはXition2+NiTEあたり

・精度重視→OpenPoseやVisonPoseのようなAI系の技術を使ったもの

みたいな形で使い分けるのが良さそうかなと思ってます。

Kinectの生産終了でやけ酒を煽られた方の参考になれば幸いです。

それぞれ一長一短あるので、目的との相談が必要ですね。

引き続き弊社でも一番より良い方法を検討します。

ピンチに強いネクストシステムへのお問い合わせはこちら

kinesysお問い合わせ

備考

【↓2018年3月19日追記】

オススメは『まとめ』でご紹介した通りですが、他にも下記のような方法がありますのでご参考にどうぞ。

VicoVR

パッケージ化されてるため、手を加えなくてもそのまま使えるようです。PCも必要ないそう。

1つだけ挙げるのであれば、RGBカメラの解像度がHPに書いてないところが、少し不安要素としてあるようです。

値段はメーカー版で$499(5万円くらい)です。

ZED Stereo Camera

ステレオカメラから取得したプログラムを元に、3Dの座標を計算するプログラムを入れてあげるとことで3Dスキャンを使うことが可能です。

ステレオカメラとは?

対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。 通常は、1台で両眼視差を再現し、立体的な空間把握のできる立体写真の撮影が可能になっているものをさす。(wikipediaより抜粋)

 openMVG

2D→3Dの変換用のライブラリ例として、こんなのも出てるよ〜!とご教示いただきました。(ありがとうございます!)

オープンソースでライセンスもフリーみたいです。

ご参考にどうぞ^^

※より詳しく知りたい方はこちら

※公式ドキュメントはこちら

↓お問い合わせはこちらから

トップへ戻る