VisionPose®

WEBカメラだけで実現する、高精度AI骨格検出システム

    ■WEBカメラだけで実現する、高精度AI骨格検出システム「VisionPose(ビジョンポーズ)」︎製品版を11月19日より法人向けに販売開始

    ヒートマップ解析によるジョイント検出およびグループ化技術を応用した
    ボーン検出システム「VisionPose(ビジョンポーズ)」を開発しています。

    従来の深度センサ付きカメラに頼らず、ディープラーニング(深層学習/DeepLearning)を使用し、WEBカメラ(RGBカメラ)のみで人間の骨格や深度情報を検出することが可能です。

    現在はスマートフォン上(CoreMLなど)でも動作できるようにモデルの軽量化(Knowledge Distillation)を行い軽量高速化を図っています。今後は一般ユーザーでも使用できるよう、クラウド上からのサービスも検討しています。

    ※個人のお客様向けには準備が整い次第別途おしらせいたします。
    ※VisionPoseはC#のSDKとして提供いたします。
    ※Unityからのご利用は近日提供予定です。

    測定部位

    ■検出箇所は30箇所!利用しやすい柔軟な販売形態でのご提供

    VisionPoseを利用すると体の各部位の関節(25箇所)と顔パーツ(5箇所)を検出できます。ご相談次第では新たに測定箇所の追加も可能です。
    また、VisionPoseはC#のSDKとしてご提供いたしますので、アプリケーションへの組込みが容易です。
    さらに、よりお気軽にご利用いただくため、用途制限なしで商用利用が可能で かつ買い切り価格でのご提供をいたします。

    VisionPose 製品版をご購入いただきますと、
    ・リリース用プロダクトキー:1つ
    ・開発用プロダクトキー :2つ
    のプロダクトキーが発行されます。

    開発時には開発用プロダクトキーをご利用いただき、リリース時にリリース用プロダクトキーをご利用いただけます。
    また製品に組み込むケースを想定し、リリース用ボリュームライセンスのご提供をいたします。まずはお問い合わせください。

    ※Unityでのご利用は今後ご提供予定です。

    アノテーションツールキャプチャ

    ■追加学習で精度を目的に合わせて調整!アノテーションツールで教師データを作成も

    骨格を検出したものの精度が悪かった場合、従来の深度センサーつきカメラでは特に手の打ちようがなかった問題ですが、VisionPoseはAI(DeepLearning)を利用しているため、追加学習をさせて検出精度を調整することが可能です。
    AI(人工知能)の学習に利用する教師データを、VisionPose並行して開発した『アノテーションツール』で作成し、その作成した教師データをVisionPoseに学習をさせることで、目的の動作に最適なVisionPoseをご提供できるようになりました。

    ※アノテーションツールはオプション機能となります。
    ※アノテーションツールの詳しいお話はこちらをご覧ください。

    ■リアルタイムだけじゃない!既存の動画・静止画からの骨格検出に対応する『FileAnalyzer』

    左の動画は、実際に動画からVisionPoseで骨格を検出した際の動画です。
    リアルタイム版に加えお手持ちの動画・静止画を利用し骨格検出ができるアプリ『FileAnalyzer』をバージョン1.1より同梱いたしました。
    コマンドラインツールを利用し、プログラムなしで実行することができます。

    当アプリを利用すると、赤外線で骨格を認識するセンサーではできなかった動画・静止画の事後推論が可能な上、 リアルタイム性に囚われないため、ご用意いただく素材の解像度が高い場合でも推論にかけることができます。
    また解像度が高い方が検出の精度が高くなる傾向があるため、今まで研究用に撮影した映像・画像データなど『骨格検出にリアルタイム性が必要なく、より精度が高いデータが欲しい場合』にオススメです。

    ※バージョン1.1より製品版に同梱いたしました。
    ※動画や静止画から検出可能な座標は2次元座標のみとなります。
    ※入力として使える静止画ファイルは、jpeg、png、bmpとなります。
    ※入力として使える動画ファイルは、avi、mp4、wmv、movとなります。

    動画・画像実例

    VisionPoseをスマートフォン(iPhoneXR)で動かすデモ

    VisionPoseをiPhone XR(iOS12)にのせてスマートフォン上で試しに動かすデモ動画です。
    これにより、リアルタイムでの運動解析や作業解析、動作解析がスマートフォンで可能になりました。
    iPhone内の撮りだめた写真から特定のポーズの写真を検索したり、流行りのVtuberの体を動かすなどさまざまな用途でお使いいただけます。
    ※Andoridへも近日搭載予定です。

    VisionPoseと既存の深度センサ付きカメラでリアルタイム骨格検出デモ

    VisionPoseと既存の深度センサ付きカメラでリアルタイムでの骨格検出を比較してみました。 従来の深度センサ付きカメラでネックだった、クロスの動作や足の検出などに強くなっています。
    ※ノーカットで編集しています。

    複数人の骨格(ボーン)を検出。

    WEBカメラで、人間の骨格を検出した際の動画です。 また、VisionPoseでは1回の処理で複数人まとめて骨格の検出が可能なため、人が増えても処理時間が一定です。 そのため類似製品よりも複数人の骨格検出が長けていることが特長となっています。

    複数人の深度(カメラからの距離)を検出。

    複数人で深度検出を試した際のデモ動画です。現在さらなる速度・精度向上に向けて開発を進めています。
    ※動画の数字はカメラからの距離を表しています。(m単位)

    野球、ゴルフ、テニス、ボクシングなど、さまざまなスポーツの動作に対応可能。

    開発中のVisionPoseで、さまざまなスポーツの動作を行った際のデモ動画です。

    フィギュアスケートや体操競技などは、審判の目に判定が委ねられます。
    しかし判定基準は個々によって微妙に異なるため、いくら厳正な審査といっても人である以上ミスもありえます。

    そんな時VisionPoseを導入することで、人為的なミスを防ぎ、より公平なジャッジを期待できます。
    また、野球やゴルフ、テニスなどフォームが重要なスポーツは、プロ選手のフォームのボーンデータと練習時のボーンデータを比較することで、ズレを可視化することが可能です。
    この情報を参考にどの部分を重点的に強化したら技術の向上に繋がるかなど、さまざまな対策にお役立ていただけます。

    工場での、さまざまな動作に対応可能。

    開発中のVisionPoseで、さまざまな工場の動作を想定して行った際のデモ動画です。

    多くの機械を扱う工場の現場では常に危険がつきまといます。また、単調作業の多い現場では人為的ミスを完全に0にすることは容易ではありません。
    VisionPoseを使用すると人の流れや動作をチェックし、その様子をVisionPoseに学習させることで、品質の向上や危機管理(リスクマネージメント)に役立てることが可能です。

    リハビリやヘルスケア分野に。食事中のさまざまな動作に対応可能。医療現場や介護施設のなどにも。

    開発中のVisionPoseで、さまざまな食事シーンの動作を想定して行った際のデモ動画です。

    VisionPoseは食事シーンなど座った状態でもボーンを検出することが可能です。
    例えばリハビリやヘルスケアを目的とした体を使ったミニゲームなどにもご利用いただけます。
    リハビリに励む患者にご利用いただき、そのデータをわかりやすく提示することで、今後のプランに役立てたり、利用者の意欲向上に期待ができます。

    車椅子のさまざまな動作に対応可能。

    開発中のVisionPoseで、さまざまな車椅子の動作を想定して行った際のデモ動画です。

    VisionPoseはベッドに横たわった状態や車椅子に座った状態でもボーン検出が可能なため、患者に負担をかけることなくデータを取得できます。
    動作や姿勢を検知しデータを蓄積することは、医療機器や車椅子など、さまざまな分野の開発や研究で、今後どのように改善に努めていくかのヒントを得るための重要な参考資料となることでしょう。

    バーチャルYouTuber(Vtuber)やMMD制作などエンタメ分野にも。

    開発中のVisionPose使って関節の位置座標を取得し、試しに社内で3Dキャラクターに反映させてみました。
    バーチャルYouTuberなどのアバターを動かす場合などモーションキャプチャ的な使い方も可能です。

    動画ではリグや回転の調整をまだ行なっていないため、あまり自然な動きとは言えないですが、今後社内でも試してみる予定です。
    ※手の検出は入れていません。VisionPoseでの検出は可能です。
    ※VisionPoseはSDKでのご提供となります。

    VisionPoseの特長は?

    1. ①リアルタイムで骨格を検出できる。
      リアルタイム計測でかつ、2Dと3D(深度測定)の骨格検出に対応しています。 WEBカメラのみで骨格情報を抽出可能のため、深度センサーに依存しません。
    2. ②複数人の骨格検出が可能
。
      複数人でもリアルタイムでトラッキングし、人物の骨格を検出することができます。
    3. ③測定箇所30箇所を網羅。
      体の各部位の関節(25箇所)と顔パーツ(5箇所)を検出できます。ご相談次第では新たに測定箇所の追加も可能です。
    4. ④使いやすさ抜群!C#のSDKとしてご提供。
      VisionPoseはC#のSDKとしてご提供いたしますので、アプリケーションへの組込みが容易です。
      ※Unityでのご利用は今後ご提供予定です。
    5. ⑤画像からの解析が可能。
      リアルタイム版に加え、過去に撮影したお手持ちの静止画像を利用して骨格検出することも可能です。今まで研究用に撮影した画像データなど『骨格検出にリアルタイム性が必要なく、より精度が高いデータが欲しい場合』に特にオススメの機能です。
      ※静止画から検出可能な座標は2次元座標のみです。
      ※動画からの解析はアプリとして近日提供予定です。
    6. ⑥マルチデバイスへの対応。
      将来的にはCloud上やスマートフォン上でも利用可能なることを目指しています。スマートフォンなどスペックの低いハードウェアでも動作できるよう現在モデルの軽量化・高速化を進めています。
    7. ⑦精度に優れた唯一の国産製品。
      国産製品であるため、さまざまなご相談に対応いたします。お気軽にお問い合わせくださいませ。

    深度センサ付きカメラのデメリットを解消。精度に優れた唯一の国産製品

    国産製品のため、お気軽にさまざまなご相談に対応できます。
    また、正面のボーンしか取れなかったり、障害物と人との区別がつきづらいため体の一部が隠れたり物を持つ動作に弱いなど、深度センサ付きカメラによくあるデメリットを解消しました。 お気軽にお問い合わせくださいませ。

     

    VisionPoseの開発のきっかけは以下のブログ記事からどうぞ。