医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデート開発

■医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデート開発

北海道科学大学の診療放射線機器の操作トレーニングのVRアプリのアップデートを対応しました。
Ultraleap社製のハンドトラッキングセンサ製品を実装し、ハンドラッキング（Ultraleap）でトレーニング操作が行えるようになりました。
コントローラーを使用せずに、ハンドジェスチャーによる直感的な操作で実際の機器操作に近いトレーニングが再現できました。
ハンドジェスチャーで人体モデルの腕や腰を動かしたり腰を回したりすることが可能です。
撮影やページング操作など初めてのユーザーや経験の浅いユーザーにとってVRをより親しみやすいものにアップデートされました。

■医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデートについて

Pico neo 3 pro に接続してはハンドジェスチャーでアクションが行える非接触ハンドトラッキングセンサ製品実装
「Stereo IR 170 Camera Module Kit」
Pico Neo 3で対応検証を行い、全ての操作をハンドジェスチャーで行えるように開発しました。

ハンドトラッキングを利用することで操作を習熟する時間を短縮することができ
Ultraleapのハンドトラッキング機能を実装したXRアプリケーションの開発の需要が高まっています。

主な操作
1.開始画面での入力、選択などアクション操作
2.人体モデル（患者）の移動アクション
3.X線写真の撮影
4.Xray画像ビューを開きページング操作
5.メニュー操作

※Pico Neoについて
Pico Interactiveは2015年4月に設立された中国のVRヘッドセットメーカーです。
一体型VRヘッドセットの需要は、コンテンツの拡充とともに高まりつつあります。
ポピュラーなのはFacebookが提供するOculusシリーズですが、最近では中国発のメーカーからのリリースにも注目が集まっています。
一体型VRヘッドセット「PICO NEO 3」の特徴とは

新モデルは「Pico 4 Pro」はアイトラッキングとフェイストラッキング機能を備えています。

※UltraLeap社について
UltraLeapはデジタルの世界を直感的でより自然なものにしていくことをミッションとし、
世界で最も先進的なハンドトラッキングと、空中で触覚を生み出す唯一の触覚技術を結びつけています。
米国のシリコンバレーと英国のブリストルに拠点を構えています。
URL：https://www.ultraleap.com/

■システム開発期間

開発期間
2022年9月から2022年10月
開発規模
1人月

■対応範囲

課題のヒヤリング
クライアントより要件をヒアリングして仕様把握しました。

要件定義
要件をヒアリングの上、実装可否含めて対応を検討しました。

基本設計・詳細設計
・仕様を調査の上、内部設計でSDK実装の設計しました。

コーディング
Unity開発

受入テスト
クライアント様で対応しました。

システム保守・運用
特になし

■対応技術

Unity/C#

■今後のアップデート

今後は、立位での胸部X線撮影モードや人体モデルのアニメーション追加、声掛けのトレーニングなど機能のアップデートを来年に予定しています。

■類似実績

・VR技術を応用した医療者向け教育ツールの開発
北海道科学大学の診療放射線学科 菊地明泰准教授と情報工学科の和田直史准教授による「VR技術を応用した医療者向け教育ツール」のVRアプリの制作を担当しました。

・臨床工学士向け心臓カテーテル検査トレーニングのVRアプリ開発
今回は、医療専門学校からの依頼で臨床工学技士がおこうなう心臓カテーテル検査のトレーニングのVRアプリを開発しました。デバイスはPico neo2で、Unityで開発しアプリを実装しました。Pico neo2のコントローラを使用して現実に近い体験が可能です。

ONETECHはUNITYでAR/VRアプリの開発
AR/VR/MR開発は２０１５年より取り組んでおります。UNITYの技術者育成に力を入れて取り組んでいます。HoloLens/Oculus/HTC VIVE/Nreal Lightなど最新のデバイスも取り揃えています。

フロントエンド、バックエンド、サーバサイドの開発も一括して受けられます。
AR/VR/MRアプリ開発、AI開発、３DCG制作、HoloLensアプリ開発に興味のある方はお気軽にお問い合わせください。