Home / 開発実績 / XR(AR/VR/MR) / UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発
data
内容

■UNITY/PythonでHoloLens画像認識MRアプリ開発

HoloLensでMR(ミックスドリアリティ:複合現実)アプリをUNITY/Pythonで制作しました。

現場で作業者はホロレンズを着用しアプリを起動します。目の前にある物体を認識すると3Dモデルが表示されます。その物体を測定すると測定結果がホロレンズに表示されます。測定器の液晶表示をOCR技術で文字認識して自動読込します。作業結果は、ホロレンズアプリで基準に照らし合わせてOKかNGかを判断します。作業エビデンスはホロレンズカメラでキャプチャしてクラウドの管理サーバーへ送信されます。ホロレンズアプリにはあらかじめ作業データが入っているので作業者はハンズフリーで検品作業を進めることができます。

 

■製造ラインや検品作業での作業者の課題

製造ラインや、検品作業での作業者の課題はいくつかあります。
・毎回、作業内容が変わる。
・製造や検品作業結果の判定時の人的ミスが起こる。
・作業結果を手書きで入力する。時間がかかりミスも発生。

 

Spectator View(スペクテータービュー)で第三者にプレゼン

Spectator Viewという機能でHoloLensを使用しているユーザーの視点を第三者に共有することができます。HoloLensで現在見ている視点を同時に近くのモニターなどに映し出すことができます。営業シーンや展示会でのプレゼンテーションなどに利用します。

 

■ホロレンズ画像認識MRアプリの特徴

・商品や製品情報の登録
・作業マニュアルの表示
・オブジェクトの画像認識と該当オブジェクトの3Dモデルの表示
・液晶デジタル数値の文字認識(openCV)、画像認識(DeepLearning YOLO)
・スペクテータービューで第三者にプレゼンテーション

■開発期間

開発期間:2018年11月から2019年10月まで

規模:72人月

■対応範囲

課題のヒヤリング

クライアントの製造現場や検品作業の現場での課題をヒアリングし、技術的観点でアドバイスしました。
HoloLensでのMR技術を使いどのような解決方法があるのかを協議しました。

要件定義

クライアントが要件定義をまとめましたが、先端技術を応用するできるかどうか何度も打ち合わせを実施し実現可能な方向を提案しました。ONETECH側でMR技術ノウハウを支援しました。

基本設計・詳細設計

要件定義書をもとに、基本設計と詳細設計を対応した。

コーディング

弊社のUnity、Python規約に沿って、コーディングした。

環境構築

Microsoft One Drive経由作業実績を送信

システムテスト

単体テスト、結合テストを担当しました。

 受入テスト
クライアントが担当

■対応技術

言語:Unity

画像認識技術:ディープラーニングYolo

文字認識:OpenCV

■今後のアップデート

開発したアプリは国内外の展示会で展開し社内評価で検証

ホロレンズ画像認識MRアプリの類似実績

ホロレンズ(HoloLens)MR遠隔支援システム開発
AR/XR技術で、視界に手順を表示し作業を効率化、Hololens(ホロレンズ)で現実に近い作業支援を実現しています。

■オフショアでR&DやPOC開発の活用

本プロジェクトにはR&Dという要素も含まれています。また社内評価のためのPOCというステップも踏みました。オフショア開発を活用しコストダウンだけではなく、先端テクノロジーのR&DやPOC開発という案件も増加しています。

 

今後もAR、MRのマニュアル業界には注目していきたいと思います。

実績一覧

好きなキャラクターや3DアバターがARで出現して、一緒に撮影できるARアプリを開発しました。 ARで表示したアバターは、小さくしたり大きくしたり自由に変形することできます。 アバターごとに個別のモーションを実装し、好きなキャラクターで様々なシチュエーションで撮影することができます。 自動で月額課金するアプリ内課金のサブスクリプションも実装しました。

医療系専門学校で臨床工学士向けの心臓カテーテル検査のトレーニングが行われています。研修では実際の手術の状況での機器の操作の仕方などを学ぶことには限界があります。そこで実際の医療現場に近い状況をバーチャル空間で再現して、反復練習できるVRの活用に注目が集まっています。

ある工場で産業用ロボットの操作を実行する前のトレーニングで使用します。VRのトレーニングを通じて技術的な把握を深めリスクを軽減します。UNITYでVRアプリを開発しました。VRコントロールアプリはOculus Questデバイスで実行されるソフトウェアアプリケーションです。

寿司協会様からの依頼で寿司職人向けのトレーニング補助アプリをスマートグラス「マイクロソフト ホロレンズ2」で作成しました。CGコンテンツは3DsMAXで製作し、ホロレンズARアプリはUNITYで制作しました。今回は要望を聞き取り企画から提案しアプリ制作まで実施しました。

北海道科学大学の診療放射線学科 の「VR技術を応用した医療者向け教育ツール」のVRアプリの制作を担当しました。今回は、診療放射線機器の操作トレーニングをVRアプリで行います。デバイスは一体型VRヘッドセットのPico Neo2で、Unityで開発しアプリを実装しました。

無料相談
お問い合わせ