CASE & CHALLENGE

事例とチャレンジ

家庭用Webカメラで高精度な3D骨格検出を実現。
圧倒的コストパフォーマンスで、多彩な応用に期待。

〜新・3D骨格検出システム/抜刀体験アプリケーションの開発〜

2021.05.15

  • アプリケーションソフト
  • コンピュータ
  • 井川 恵一

    クラウド・ソリューション技術本部 第二技術部 第三設計課 課長

    入社以来、各種プロダクトのソフトウェア開発の他、ドローン、xR(VR、AR、MR、SR)といった先端領域での開発案件に従事してきた。骨格検出システムと「抜刀体験アプリケーション」の開発者。

開発の背景・課題

これまでも3D骨格検出システムという技術は世の中に存在していました。ですがそれら既存のシステムは3Dセンサーに依存するものが多く、センサーが発売中止やバージョンアップを迎えた際、骨格検出システムが使用できなくなるというリスクがありました。また、3Dセンサーに用いられることの多い赤外線カメラは、屋外で使用できない・人と障害物の区別ができない・正面以外の骨格取得ができないといった弱点も。さらには、骨格検出精度を高めるための機械学習にはGPUカードを搭載した高性能なコンピュータが必要でコストが非常に高額になるという欠点もありました。そこで、専用の3Dセンサーではなく一般的なWebカメラで3D骨格検出を行え、なおかつ家庭で使われているような性能のパソコンでも動作する仕組みを生み出せないかという話が社内で持ち上がりました。

POINT

  • 圧倒的低コストの骨格検出ソリューションで、新たな市場を創造
  • 低コストだからこその汎用力。広い分野への応用に期待
  • ゲームエンジンUnity3DとOpenVino™ の融合で生み出す新たな体験

ソリューション

新しい3D骨格検出システムのため、私たちはCPU内で機械学習を行えるIntel社のOpenVino™ というプラットフォームの活用を思いつき、開発に着手。そして生まれた新しい3D骨格検出システムでは、家庭で使われる一般的なWebカメラ2台とパソコンさえあれば、高速・高精度な骨格検出が可能にしています。

コストパフォーマンスは圧倒的で、仮に同じことを従来型でやろうとすれば数倍〜数十倍の費用がかかるでしょう。また、屋外での使用ができない・人と障害物の区別ができないといった従来型赤外線カメラの弱点もすべて克服。例えばイベント会場のような特殊な場所でも使用できます。

私たちはこの3D骨格検出技術を確立させた際、広く認知してもらうべきだと考えました。低コスト・高速・高精度な骨格検出技術は、医療やスポーツ・フィットネス、生産現場、レジャーなど様々な分野に大いに貢献する可能性に溢れているからです。

人体の骨格検出の精度

人体の骨格検出の精度

そして手始めにと手がけたのがサムライ体験コンテンツの企画・開発でした。世界的に人気の高いサムライをモチーフにすることで、広く世界に知ってもらえるはずと考えたのです。そして3D骨格検知技術をUnity3Dというゲーム開発プラットフォームにプラグインで提供。Unity3Dにて、「サムライ抜刀体験アプリケーション」を開発しました。このアプリは、サムライになりきって抜刀を気軽に楽しむことができる体験型のコンテンツ。アプリユーザーの骨格の動きと熟練者の骨格の動きとを比較することで、抜刀技術を学ぶこともできます。

「サムライ抜刀体験アプリケーション」は、そのオリジナリティと低コスト×高精度を評価され、インテル主催の「第2回OpenVINO™ ツールキットによる開発コンテスト」で最優秀賞を受賞。アプリを通じて、各方面から私たちの骨格検出技術に注目もいただいており、すでに技術を応用した他社との協働プロジェクトも始まろうとしています。

サムライ抜刀体験アプリケーション

一般的なwebカメラ2台の映像を、OpenVINO™ ツールキット環境で、高速に動作する骨格推論モデルHuman Pose Estimationを使って人物の正面と側面の骨格を検出し、推論結果を合成したサムライの3次元骨格情報を描画します。これにIMUセンサー(3次元の完成運動を検出する装置)を搭載した刀を組み合わせることで「抜刀体験」が行える。

成果・今後の展望

3D骨格検出技術の可能性は無限だと考えています。例えばコロナ禍で家庭用フィットネス器具が売れていると聞きますが、3D骨格検出を用いれば正しい身体の動かし方を各家庭で手軽にチェックすることも容易です。野球やゴルフのスイングの科学的チェックも安価に行えますから、プロに限らず少年野球や部活動などで活用いただけることもできるでしょう。そうした様々なコンテンツが今後生まれていくと期待しています。

サービスのご依頼やお問い合わせはこちらへ