HomeKinect for Windows(キネクト）でペダル認識、VRトレーニングバイクのための研究開発
| R＆D | kinectとアプリの連携 |
|---|---|
| 業界 | スポーツジム |
| 制作期間 | ２週間 |
Kinect for Windowsでペダルを認識、VRトレーニングバイクのための研究開発
動画を見ながらトレーニングバイクでエクササイズするためのアプリ開発のための基礎研究
実写の画像・動画とサイクリングの動作と連携してサイクリング体験を実装
Kinnect for windowsでトレーニングバイクのペダルとトレーニングをしている人の顔をセンサリングします。ペダルの回転速度と動画の再生スピードを連動させます。トレーニングしている人の顔の傾きなどで画像の向きも調整します。
Kinect for Windowsでセンサリング
Kinect for Windows（マイクロソフト キネクト）へ接続できました。
体と頭の動きを認識してトラッキング
複数の画面（左、右、真中）を同期できる。頭を移動したらアングルを変更
ペダルの回転数をKinectで認識し自転車の速度を取得
べダル速度により動画の速度も調整できる
トラッキングできるかどうか検討（足の動きにより、値を取得できるかどうか）
踝（くるぶし）の動きでべダルの回転数をトラッキング
Kinectの配置によりトラッキングに影響する
今後の課題：4K映像の場合
高精細で動画再生したらどのようにするか検討
下記のPCにテストいたしました
– CPU: Core i7-7700k
– GPU: GTX 1060
– Screen Resolution: 1920×1080
結果は下記の通りです。
– Resolution <= 2K (2560×1440): スムーズになっています
– Resolution <= 4K (3840×1920)): 時々解像度が悪くなる
Kinect for Windows(マイクロソフト キネクト）とは
Kinect（キネクト）はマイクロソフトから発売された身体の動きであるジェスチャー・音声認識によってゲーム機、コンピューターの操作ができるデバイス。
RGBカメラ、深度センサー、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサーがあり、プレイヤーの位置、動き、声、顔を認識することができる。
出典:wikipedia
オンライン授業が進む集団塾向けのeラーニングシステムの性能改善をしました。講師と生徒はタブレットで授業をします。最大４０人が使うシステムです。画像データをbase64へエンコードすることでデータ量を改善して読み込みスピードを改善しました。
寿司協会様からの依頼で寿司職人向けのトレーニング補助アプリをスマートグラス「マイクロソフト ホロレンズ２」で作成しました。CGコンテンツは３DsMAXで製作し、ホロレンズARアプリはUNITYで制作しました。今回は要望を聞き取り企画から提案しアプリ制作まで実施しました。
北海道科学大学の診療放射線学科 の「VR技術を応用した医療者向け教育ツール」のVRアプリの制作を担当しました。今回は、診療放射線機器の操作トレーニングをVRアプリで行います。デバイスは一体型VRヘッドセットのPico Neo2で、Unityで開発しアプリを実装しました。
「HOUSE DECOR」とは新しい住居を探す際にパソコン操作で住宅、マンションなど床や、壁紙の変更と見積もりができるステムです。家具のグレードと色を変更できる機能、ZOOMを登録しておくとハウスメーカーの営業担当とお客さまがオンライン面談できる機能を追加しました。
クライアント様のデバイス機器とAWSソリューションと連携してデバイス機器の操作やデータを取得してダッシュボードなど可視化する 企画の元、研究開発を一貫としてAWSのサーバー構成の設計・構築を対応いたしました。