Home医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデート開発
| 業界 | 教育・医療 |
|---|---|
| ジャンル | VRアプリ、VRトレーニング、VR研修 |
| 開発言語・ソフトウェア | Unity/C# |
| デバイス/OS | Pico Neo2、Pico Neo Pro3 |
| 対応範囲 | 設計・製造・テスト |
| リリース | 2022年10月 |
■医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデート開発
北海道科学大学の診療放射線機器の操作トレーニングのVRアプリのアップデートを対応しました。
Ultraleap社製のハンドトラッキングセンサ製品を実装し、ハンドラッキング（Ultraleap）でトレーニング操作が行えるようになりました。
コントローラーを使用せずに、ハンドジェスチャーによる直感的な操作で実際の機器操作に近いトレーニングが再現できました。
ハンドジェスチャーで人体モデルの腕や腰を動かしたり腰を回したりすることが可能です。
撮影やページング操作など初めてのユーザーや経験の浅いユーザーにとってVRをより親しみやすいものにアップデートされました。
■医療者向け教育ツールのハンドラッキング（Ultraleap）対応アップデートについて
Pico neo 3 pro に接続してはハンドジェスチャーでアクションが行える非接触ハンドトラッキングセンサ製品実装
「Stereo IR 170 Camera Module Kit」
Pico Neo 3で対応検証を行い、全ての操作をハンドジェスチャーで行えるように開発しました。
ハンドトラッキングを利用することで操作を習熟する時間を短縮することができ
Ultraleapのハンドトラッキング機能を実装したXRアプリケーションの開発の需要が高まっています。
主な操作
1.開始画面での入力、選択などアクション操作
2.人体モデル（患者）の移動アクション
3.X線写真の撮影
4.Xray画像ビューを開きページング操作
5.メニュー操作
※Pico Neoについて
Pico Interactiveは2015年4月に設立された中国のVRヘッドセットメーカーです。
一体型VRヘッドセットの需要は、コンテンツの拡充とともに高まりつつあります。
ポピュラーなのはFacebookが提供するOculusシリーズですが、最近では中国発のメーカーからのリリースにも注目が集まっています。
一体型VRヘッドセット「PICO NEO 3」の特徴とは
新モデルは「Pico 4 Pro」はアイトラッキングとフェイストラッキング機能を備えています。
※UltraLeap社について
UltraLeapはデジタルの世界を直感的でより自然なものにしていくことをミッションとし、
世界で最も先進的なハンドトラッキングと、空中で触覚を生み出す唯一の触覚技術を結びつけています。
米国のシリコンバレーと英国のブリストルに拠点を構えています。
URL：https://www.ultraleap.com/
■システム開発期間
開発期間
2022年9月から2022年10月
開発規模
1人月
■対応範囲
課題のヒヤリング
クライアントより要件をヒアリングして仕様把握しました。
要件定義
要件をヒアリングの上、実装可否含めて対応を検討しました。
基本設計・詳細設計
・仕様を調査の上、内部設計でSDK実装の設計しました。
コーディング
Unity開発
受入テスト
クライアント様で対応しました。
システム保守・運用
特になし
■対応技術
Unity/C#
■今後のアップデート
今後は、立位での胸部X線撮影モードや人体モデルのアニメーション追加、声掛けのトレーニングなど機能のアップデートを来年に予定しています。
■類似実績
・VR技術を応用した医療者向け教育ツールの開発
北海道科学大学の診療放射線学科 菊地明泰准教授と情報工学科の和田直史准教授による「VR技術を応用した医療者向け教育ツール」のVRアプリの制作を担当しました。
・臨床工学士向け心臓カテーテル検査トレーニングのVRアプリ開発
今回は、医療専門学校からの依頼で臨床工学技士がおこうなう心臓カテーテル検査のトレーニングのVRアプリを開発しました。デバイスはPico neo2で、Unityで開発しアプリを実装しました。Pico neo2のコントローラを使用して現実に近い体験が可能です。
ONETECHはUNITYでAR/VRアプリの開発
AR/VR/MR開発は２０１５年より取り組んでおります。UNITYの技術者育成に力を入れて取り組んでいます。HoloLens/Oculus/HTC VIVE/Nreal Lightなど最新のデバイスも取り揃えています。
フロントエンド、バックエンド、サーバサイドの開発も一括して受けられます。
AR/VR/MRアプリ開発、AI開発、３DCG制作、HoloLensアプリ開発に興味のある方はお気軽にお問い合わせください。
好きなキャラクターや3DアバターがARで出現して、一緒に撮影できるARアプリを開発しました。 ARで表示したアバターは、小さくしたり大きくしたり自由に変形することできます。 アバターごとに個別のモーションを実装し、好きなキャラクターで様々なシチュエーションで撮影することができます。 自動で月額課金するアプリ内課金のサブスクリプションも実装しました。
寿司職人の育成のための専門学校向けMRによる真鯛の捌き方アプリを作成 真鯛の捌き方をリアルに再現するための3Dモデリングとアニメーション Microsoft HoloLens 2アプリをUnityで開発 HoloLens 2を装着してリアルな体験ができるインタラクティブな学習体験の設計
医療系専門学校で臨床工学士向けの心臓カテーテル検査のトレーニングが行われています。研修では実際の手術の状況での機器の操作の仕方などを学ぶことには限界があります。そこで実際の医療現場に近い状況をバーチャル空間で再現して、反復練習できるVRの活用に注目が集まっています。
iPhoneのLiDAR技術は、空間を高精度でスキャンし、保守点検作業を革新します。ユーザーはiPhoneを対象物に向け、LiDARセンサーがレーザー光を放射し、その反射を測定。これにより、建物や機器の3Dモデルが生成され、劣化箇所や異常を簡単に検出できます。
ある工場で産業用ロボットの操作を実行する前のトレーニングで使用します。VRのトレーニングを通じて技術的な把握を深めリスクを軽減します。UNITYでVRアプリを開発しました。VRコントロールアプリはOculus Questデバイスで実行されるソフトウェアアプリケーションです。