Home / 開発実績 / XR(AR/VR/MR) / UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発
data
内容

■UNITY/PythonでHoloLens画像認識MRアプリ開発

HoloLensでMR(ミックスドリアリティ:複合現実)アプリをUNITY/Pythonで制作しました。

現場で作業者はホロレンズを着用しアプリを起動します。目の前にある物体を認識すると3Dモデルが表示されます。その物体を測定すると測定結果がホロレンズに表示されます。測定器の液晶表示をOCR技術で文字認識して自動読込します。作業結果は、ホロレンズアプリで基準に照らし合わせてOKかNGかを判断します。作業エビデンスはホロレンズカメラでキャプチャしてクラウドの管理サーバーへ送信されます。ホロレンズアプリにはあらかじめ作業データが入っているので作業者はハンズフリーで検品作業を進めることができます。

 

■製造ラインや検品作業での作業者の課題

製造ラインや、検品作業での作業者の課題はいくつかあります。
・毎回、作業内容が変わる。
・製造や検品作業結果の判定時の人的ミスが起こる。
・作業結果を手書きで入力する。時間がかかりミスも発生。

 

Spectator View(スペクテータービュー)で第三者にプレゼン

Spectator Viewという機能でHoloLensを使用しているユーザーの視点を第三者に共有することができます。HoloLensで現在見ている視点を同時に近くのモニターなどに映し出すことができます。営業シーンや展示会でのプレゼンテーションなどに利用します。

 

■ホロレンズ画像認識MRアプリの特徴

・商品や製品情報の登録
・作業マニュアルの表示
・オブジェクトの画像認識と該当オブジェクトの3Dモデルの表示
・液晶デジタル数値の文字認識(openCV)、画像認識(DeepLearning YOLO)
・スペクテータービューで第三者にプレゼンテーション

■開発期間

開発期間:2018年11月から2019年10月まで

規模:72人月

■対応範囲

課題のヒヤリング

クライアントの製造現場や検品作業の現場での課題をヒアリングし、技術的観点でアドバイスしました。
HoloLensでのMR技術を使いどのような解決方法があるのかを協議しました。

要件定義

クライアントが要件定義をまとめましたが、先端技術を応用するできるかどうか何度も打ち合わせを実施し実現可能な方向を提案しました。ONETECH側でMR技術ノウハウを支援しました。

基本設計・詳細設計

要件定義書をもとに、基本設計と詳細設計を対応した。

コーディング

弊社のUnity、Python規約に沿って、コーディングした。

環境構築

Microsoft One Drive経由作業実績を送信

システムテスト

単体テスト、結合テストを担当しました。

受入テスト
クライアントが担当

■対応技術

言語:Unity

画像認識技術:ディープラーニングYolo

文字認識:OpenCV

■今後のアップデート

開発したアプリは国内外の展示会で展開し社内評価で検証

ホロレンズ画像認識MRアプリの類似実績

ホロレンズ(HoloLens)MR遠隔支援システム開発
AR/XR技術で、視界に手順を表示し作業を効率化、Hololens(ホロレンズ)で現実に近い作業支援を実現しています。

■オフショアでR&DやPOC開発の活用

本プロジェクトにはR&Dという要素も含まれています。また社内評価のためのPOCというステップも踏みました。オフショア開発を活用しコストダウンだけではなく、先端テクノロジーのR&DやPOC開発という案件も増加しています。

 

今後もAR、MRのマニュアル業界には注目していきたいと思います。

実績一覧

博物館ガイドUnityアプリを保守でバージョンアップ対応しました。 iBeaconを利用していて博物館内に設置されたBeaconを検知してタブレットに作品・展示情報を表示 展示コーナーでは作品の解説や音声ガイドを再生

WEBGLとUnityを活用して、リーシング用3DモデルをVRコンテンツで閲覧するWebVRの制作しました。 先進的な技術を活用し、最近では3DモデルとVR技術の進化は著しく、不動産業界においてVRの技術の重要性が増しています。

デジタル活用教育推進に伴い、教育機関向けにVRアプリを開発しました。 複数のVRデバイスからアバターを選択して360度動画のVR空間に参加することができます。 ホストはVRコントローラーを操作して、動画の一時停止やポインターで空間の特定の位置を指し示しながら授業が可能です。

北海道科学大学と連携して診療放射線機器の操作トレーニングのためのVRアプリを開発しました。 このアップデートでは新規シナリオが追加され、立位モードでは人体の向きを自由に変更することができるようになりました。 また、撮影時の手順を詳細にガイドするシナリオモードも実装されました。

XRを活用したホロレンズトレーニングアプリをアップデートしました。寿司職人が実際にマダイを捌く動画を完全にCGアニメーション化しました。microsoftホロレンズ2でマダイの捌き方のアニメーション動画を現実空間に投影しながらXRを活用して業界の人手不足を解決する試みです。

無料相談
お問い合わせ