HomeKinect for Windows(キネクト）でペダル認識、VRトレーニングバイクのための研究開発
| R＆D | kinectとアプリの連携 |
|---|---|
| 業界 | スポーツジム |
| 制作期間 | ２週間 |
Kinect for Windowsでペダルを認識、VRトレーニングバイクのための研究開発
動画を見ながらトレーニングバイクでエクササイズするためのアプリ開発のための基礎研究
実写の画像・動画とサイクリングの動作と連携してサイクリング体験を実装
Kinnect for windowsでトレーニングバイクのペダルとトレーニングをしている人の顔をセンサリングします。ペダルの回転速度と動画の再生スピードを連動させます。トレーニングしている人の顔の傾きなどで画像の向きも調整します。
Kinect for Windowsでセンサリング
Kinect for Windows（マイクロソフト キネクト）へ接続できました。
体と頭の動きを認識してトラッキング
複数の画面（左、右、真中）を同期できる。頭を移動したらアングルを変更
ペダルの回転数をKinectで認識し自転車の速度を取得
べダル速度により動画の速度も調整できる
トラッキングできるかどうか検討（足の動きにより、値を取得できるかどうか）
踝（くるぶし）の動きでべダルの回転数をトラッキング
Kinectの配置によりトラッキングに影響する
今後の課題：4K映像の場合
高精細で動画再生したらどのようにするか検討
下記のPCにテストいたしました
– CPU: Core i7-7700k
– GPU: GTX 1060
– Screen Resolution: 1920×1080
結果は下記の通りです。
– Resolution <= 2K (2560×1440): スムーズになっています
– Resolution <= 4K (3840×1920)): 時々解像度が悪くなる
Kinect for Windows(マイクロソフト キネクト）とは
Kinect（キネクト）はマイクロソフトから発売された身体の動きであるジェスチャー・音声認識によってゲーム機、コンピューターの操作ができるデバイス。
RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。
出典:wikipedia
VR対応アプリケーション用3Dモデリング実績を紹介。ポリゴン数やブラウザでも表示するという制約内でリアルな車両モデルの製作。質・技術の向上に注力。クライアント満足実績多数。ベトナムオフショアで低コストで製作可能。
今回、HoloLensアプリをMeta Quest3に移植し、保守メンテナンスの手順をAR（拡張現実）で表示するアプリを制作しました。このプロジェクトは、大手機械メーカーのメンテナンス作業を効率化し、
工場内で使用される運搬車両の位置情報をリアルタイムで管理し、導線を可視化するWindowsアプリを開発しました。 本アプリは、デバイスから取得した位置情報をCSVファイルとして出力する機能を搭載し、運搬車両の動きを詳細に記録します。
LiDARスキャンデータを活用し、効率的にCGデータを生成しました。m区敵はメタバースとデジタルツインを構築です。Gaussian Splattingなどの最新技術を応用し、今後は自動化されたCG制作技術の研究開発にも取り組む予定です。現実空間とCG空間を連動させる次世代の技術を提供します。
ONETECHはベトナムでVR（バーチャルリアリティ：仮想現実）空間でアバターでコミュニケーションができるバーチャルオフィスシステムを開発しています。 今回のアップデートで、実際のオフィスのようにエントランスからロビーを通り会議室に入室して会議ができるように更新しました。