Top / 開発実績 / R&D / Kinect for Windows(キネクト)でペダル認識、VRトレーニングバイクのための研究開発

Kinect for Windows(キネクト)でペダル認識、VRトレーニングバイクのための研究開発

Kinect for Windows(キネクト)でペダル認識、VRトレーニングバイクのための研究開発
Data
内容

Kinect for Windowsでペダルを認識、VRトレーニングバイクのための研究開発

動画を見ながらトレーニングバイクでエクササイズするためのアプリ開発のための基礎研究

実写の画像・動画とサイクリングの動作と連携してサイクリング体験を実装

Kinnect for windowsでトレーニングバイクのペダルとトレーニングをしている人の顔をセンサリングします。ペダルの回転速度と動画の再生スピードを連動させます。トレーニングしている人の顔の傾きなどで画像の向きも調整します。

 

Kinect for Windowsでセンサリング

Kinect for Windows(マイクロソフト キネクト)へ接続できました。

体と頭の動きを認識してトラッキング
複数の画面(左、右、真中)を同期できる。頭を移動したらアングルを変更

ペダルの回転数をKinectで認識し自転車の速度を取得
べダル速度により動画の速度も調整できる

トラッキングできるかどうか検討(足の動きにより、値を取得できるかどうか)
踝(くるぶし)の動きでべダルの回転数をトラッキング

Kinectの配置によりトラッキングに影響する

 

今後の課題:4K映像の場合

高精細で動画再生したらどのようにするか検討

下記のPCにテストいたしました

– CPU: Core i7-7700k

– GPU: GTX 1060

– Screen Resolution: 1920×1080

結果は下記の通りです。

– Resolution <= 2K (2560×1440): スムーズになっています

– Resolution <= 4K (3840×1920)): 時々解像度が悪くなる

Kinect for Windows(マイクロソフト キネクト)とは

Kinect(キネクト)はマイクロソフトから発売された身体の動きであるジェスチャー・音声認識によってゲーム機、コンピューターの操作ができるデバイス。

RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。

出典:wikipedia

実績一覧

ONETECHはベトナムでVR(バーチャルリアリティ:仮想現実)空間でアバターでコミュニケーションができるバーチャルオフィスシステムを開発しています。 今回のアップデートで、実際のオフィスのようにエントランスからロビーを通り会議室に入室して会議ができるように更新しました。

ap Systems社の「Tap Strap(タップ・ストラップ)」はVR空間でもタイピングを行うことができる”ウェアラブルキーボード”です。Oculus Questでサポートされていない日本語入力にも研究開発して対応しました。

危険が伴う場所での遠隔測定、人員不足のために測定業務を自動化したいという課題でのお問い合わせありました。そこで弊社ではiPad ProやiPhone12より精度の高いIntel RealSense LiDAR Camera L515を利用して遠隔測定アプリケーションを作成する研究開発をしました。

デジタルツインの活用として、本アプリは作業者と遠隔地にいるエキスパートとリアルタイムで作業の状況を共有することができます。今回のアップデートでARマニュアル機能と、セブンセグメントのデジタル数値を認識する機能をアップデートしました。

7セグメントディスプレイのデジタル数字を認識するモジュールを開発しました。 デバイスのデジタル数字が表示されている枠内の数字を自動解析します。決定木の手法と SSOCR(seven segment optical character recognition)を利用しました。 このモジュールはホロレンズ(Microsoft HoloLens)、スマホなども応用可能です。