【現在開発中】深度センサ付きカメラを使わない!WEBカメラと AI(DeepLearning)を使った骨格検出システム『VisionPose®』とは?

シェアする?

VisionPoseのアイキャッチ

【2/15更新箇所あり】

【3/30更新箇所あり】

【4/17更新箇所あり】

【8/27更新箇所あり】

【10/26更新箇所あり】

【11/19更新箇所あり】

11月19日より製品版を法人のお客様向けに販売開始いたしました!

詳しくはこちらからご確認ください。

みなさまこんにちは。

ネクストシステムの広報担当田中です。

昨年10月にKinectの販売中止が決まり、

こちらを使用した開発をしていらっしゃる方々におかれましては、

『燃え尽きたよ・・・真っ白にな・・・・・・』

というレベルで重めの打撃をもらってしまったのではないかと思います。

Kinectの販売中止を知ったユーザーのイメージ

Kinectの販売中止を知ったユーザーのイメージ

さて、人ごとのように話していますが、実は弊社でも例外ではないのです。

進化型ARサイネージ『Kinesys(キネシス)』という製品でバリバリ利用させていただいてます。

こんなお悩みをお持ちではないでしょうか?「ブランドイメージをUPしたい」「多くのお客様の目を引きたい」「アトラクションスペースを盛り上げたい」「地域・地元の魅力を最大限に発信したい」「発信情報の効果を確かめたい」「ビッグデータを収集、最大限に活かしたい」企画担当者様の頭を悩ませることの1つが、ズバリ『集客』。

もちろん販売停止が発表された時点で、リスク分散のため在庫集めに奔走しました。

めちゃくちゃ頑張りました。

が、それだけではいつかガタがきてしまいますよね。

そう、深度センサ付きカメラに頼らず骨格を検知したい!!

心の底から!

というわけで代替品となりそうなものを検討しました。

【2018年3月19日追記あり】先日、モーションキャプチャー系の開発会社にとって衝撃的なニュースが舞い込みましたね。そう、Kinectの販売停止!!どこも在庫が一瞬でなくなりましたよね。恐ろしい。しかしなくなってしまったものはしょうがない!そんなわけで、Kinectの次に使えそうな代替案を考えてみました〜!

上記の記事の中で特にDeepLearning(深層学習)を使った骨格検知システムに焦点をあて、実際に試してみたりと色々検討を重ねた結果、

『Kinect販売中止になったし、類似製品はちょっとお高めだし作るか!!』

ということで、Kinectの代替品を作ることになったわけでした。

弊社では、すでにDeepLearning(深層学習)を使った画像認識のノウハウがあったという点も理由の一つですね。

最近ネクストシステムでは、AI(人工知能)方面の研究・開発が活発化しています。 特に物体認識や行動認識の分野を中心に研究していますが、ここ3ヶ月ほどでデモ開発したものをまとめてみました。

そして現在開発中のWEBカメラとDeepLearning使った骨格検出システムの名前が『VisionPose®』です。

VisionPoseのロゴ

アイコンできたよ

※以下、現在開発中のため、変更となる場合があります。

VisionPoseとは?

深度センサ付きカメラに頼らず、DeepLearning(深層学習)を使用し、WEBカメラだけで人間の骨格を検出することができるシステムです。

野球やテニス、ヨガなどの複雑な動きもほぼリアルタイムでボーントラッキングが可能です。

※類似製品とはニューラルネットワークの構造や関節のつながりを検出する仕組み等が異なります。

VisionPoseの良いところは?

リアルタイムで骨格を検出できる。

リアルタイム計測でかつ、2D と 3D(深度測定)の骨格検出に対応しています。
WEBカメラのみで骨格情報の抽出が可能であるため、深度センサに依存しません。

複数人の骨格検出が可能


1人だけでなく複数人でもリアルタイムでトラッキングし、人物の骨格を検出できます。

測定箇所30箇所を網羅。

体の各部位の関節(25箇所)と顔パーツ(5箇所)を検出できます。
ご相談次第では新たに測定箇所の追加も可能です。

④使いやすさ抜群!用途制限なくC#のSDKとしてご提供。

VisionPoseはC#のSDKとしてご提供いたします。そのためアプリケーションへの組込が容易です。また、用途制限はなく買い切りでご提供いたします。
※Unityからのご利用は近日提供予定です。

⑤画像からの解析が可能。

リアルタイム版に加え、過去に撮影したお手持ちの静止画像を利用して骨格検出をすることも可能です。今まで研究用に撮影した画像データなど『骨格検出にリアルタイム性が必要なく、より精度が高いデータが欲しい場合』に特にオススメの機能です。
※静止画から検出が可能な座標は2次元座標のみです。
※動画からの解析はアプリとして近日提供予定です。

マルチデバイスへの対応。

将来的には Cloud 上やスマートフォン上でも利用が可能になることを目指しています。スマートフォンなどスペックの低いハードウェアでも動作できるよう現在モデルの軽量化・ 高速化を進めています。

⑦精度に優れた唯一の国産製品。

国産製品であるため、さまざまなご相談に対応いたします。お気軽にお問い合わせくださいませ。

VisionPoseの販売目処は?

【2018年11月19日更新情報】

11月19日より製品版を法人のお客様向けに販売開始いたしました!

詳しくはこちらからご確認ください。

【2018年4月17日更新情報】
現在、α版を先行的に提供させていただいた企業様から受けたご要望等のフィードバック対応を行っており、恐れ入りますが、企業様の対応を優先しております。
個人様向けには、Kinectのようなカメラ付パッケージとして、より使いやすい形での提供を考えておりますので、今暫くお時間を頂ければと思います。
準備が出来次第、弊社WEBサイトやSNS等でお声がけさせて頂けましたら幸いです。
引き続き開発を進めて参りますので何卒宜しくお願いいたします。

株式会社ネクストシステム(本社:福岡県福岡市 代表取締役:藤田義生)は、深度センサーを使わない、高精度AI骨格検出システムとして開発中の『VisionPose®(ビジョンポーズ)』をα版として2018年4月2日(月)より順次配布を開始していくことを決定いたしました。

【2018年3月30日更新情報】

2018年4月2日よりα版の提供を順次開始します。

詳しくは下記リリースをご確認ください。

※お申し込みが多い場合、対応にお時間がかかる可能性がございます。ご了承くださいませ。

※今後の参考のために会社名や使用用途・目的などもご教示いただける範囲でご記載いただけますと大変嬉しく存じます。

よくある質問

VisionPoseの優位性は?

<赤外線センサ付きカメラによくある下記のデメリットを解消。>
・正面からのボーンしかとれない。背面を認識すると正面として認識する。
・正面からのボーンしかとれないため、正面から背面へ切り替わる真横からの視点でボーンが乱れる。(左右の逆転が起こるため)
・赤外線による Depth マップのみの認識(カラーを使わない)であり、障害物と人との区別がつきづらいため、体の一部が隠れたりモノを持つ動作に弱い。
・赤外線のため屋外の認識が難しい。
・赤外線を吸収する服装などに弱い。

学習を重ね、精度も上がってきたので
既存の深度センサ付きカメラとリアルタイムで骨格検出して比較してみました。

<利用しやすい柔軟な販売形態。>

従来の深層学習を利用した類似サービスでは特定分野での用途制限や、商用利用の場合に 年ごとに支払う金額が高価であったりと、気軽に利用しにくい状況がありました。
「VisionPose」ではよりお気軽にご利用いただくため、用途制限なしで商用利用が可能で かつ買い切り価格でのご提供をいたします。

また、VisionPose 製品版をご購入いただきますと、

・リリース用プロダクトキー:1つ
・開発用プロダクトキー :2つ

のプロダクトキーが発行されます。

開発時には開発用プロダクトキーをご利用いただき、リリース時にリリース用プロダクト キーをご利用いただけます。また製品に組み込むケースを想定し、リリース用ボリュームラ イセンスのご提供をいたします。
まずはお問い合わせいただきたいと考えております。

例えばどんな使い方?

工場現場、医療、スポーツなどさまざまな分野で研究目的やKinectの代替としてなどお問い合わせをいただいていますが、最近だとVtuberやMMD、映画、アニメ用にモーションキャプチャとして使いたいというご相談も多いですね。

工場・小売:監視業務など
スポーツ:フォームチェックや審判材料として
医療:リハビリやヘルスケア分野の姿勢評価、研究開発など
組込:スマートフォンや IT 機器への組込に
エンタメ:バーチャル YouTuber(Vtuber)、MMD 制作など

世の中の反応は・・・?

めっちゃ期待されてるーーー!!!(大興奮)

弊社・・・弊社・・・頑張ります!!

おまけという名のご褒美

元チェッカーズのベーシスト『大土井裕二』さんにも、VisionPoseのデモを体験してもらいました。

大土井さん、何してるんですか!!(大歓喜)

VisionPoseの仕様上、お顔が隠れてるため大土井さんかどうか判別し辛いのが玉にキズですが、お茶目さが垣間みえて控えめにいって最高です。ごちそうさまです。

こんな無茶ぶりにも快く引き受けていただき、誠にありがとうございます。

ちなみに金髪もじゃもじゃの人は弊社のゼネラルマネージャ兼チーフプロデューサとなっております。

【8/27日更新】アノテーションツールについて

「骨格の検出精度が悪かったらどうするの?」

そんな時に備えてVisionPose が追加学習できるようになったので、できるだけわかりやすくまとめてみました。

VisionPoseは汎用的にお使いいただくため、日常生活でよくする動作を中心に学習させています。そのためあまり日常生活ですることがない動作については精度が落ちる傾向があります。

しかし、弊社ではアノテーションツールをはじめとした学習環境を準備しておりますので、追加学習をさせることで精度を調整し、さらに磨きをかけることができます。

詳細は下記リンクからどうぞ!

AI(DeepLearning)とWEBカメラを使って人間の骨格を検出するシステム『VisionPose(ビジョンポーズ)』を3月にリリースしたα版のフィードバックを元に、β版の開発に取り組んでいます。学習済データ(モデル)の追加学習が可能になり、さらに特定動作の教師データを作成するシステム『アノテーションツール』を開発しました。これにより自社での追加学習が可能になったので、今回はVisionPose®の追加学習周りのことをまとめてみようと思います。

※アノテーションツールはオプションとなっております。

まとめ

現状の開発情報をまとめてみました。

引き続き最新情報についてはTwitterなどで更新していくつもりです。

続報をお楽しみに〜^^

■ピンチをチャンスに変えがちなネクストシステムへのお問い合わせはこちら。

AI用バナー

↓ネクストシステムWEBサイトはこちらから

シェアする?

下のボタンからいいねすると最新情報をチェックできるよ!

↓ネクストシステムWEBサイトはこちらから

トップへ戻る