UNITY/Pythonでホロレンズ（HoloLens）画像認識MRアプリ開発

■UNITY/PythonでHoloLens画像認識MRアプリ開発

HoloLensでMR（ミックスドリアリティ：複合現実）アプリをUNITY/Pythonで制作しました。

現場で作業者はホロレンズを着用しアプリを起動します。目の前にある物体を認識すると３Dモデルが表示されます。その物体を測定すると測定結果がホロレンズに表示されます。測定器の液晶表示をOCR技術で文字認識して自動読込します。作業結果は、ホロレンズアプリで基準に照らし合わせてOKかNGかを判断します。作業エビデンスはホロレンズカメラでキャプチャしてクラウドの管理サーバーへ送信されます。ホロレンズアプリにはあらかじめ作業データが入っているので作業者はハンズフリーで検品作業を進めることができます。

■製造ラインや検品作業での作業者の課題

製造ラインや、検品作業での作業者の課題はいくつかあります。
・毎回、作業内容が変わる。
・製造や検品作業結果の判定時の人的ミスが起こる。
・作業結果を手書きで入力する。時間がかかりミスも発生。

■Spectator View（スペクテータービュー）で第三者にプレゼン

Spectator Viewという機能でHoloLensを使用しているユーザーの視点を第三者に共有することができます。HoloLensで現在見ている視点を同時に近くのモニターなどに映し出すことができます。営業シーンや展示会でのプレゼンテーションなどに利用します。

■ホロレンズ画像認識MRアプリの特徴

・商品や製品情報の登録
・作業マニュアルの表示
・オブジェクトの画像認識と該当オブジェクトの3Dモデルの表示
・液晶デジタル数値の文字認識（openCV)、画像認識（DeepLearning YOLO)
・スペクテータービューで第三者にプレゼンテーション

■開発期間

開発期間：２０１８年１１月から２０１９年１０月まで

規模：７２人月

■対応範囲

課題のヒヤリング

クライアントの製造現場や検品作業の現場での課題をヒアリングし、技術的観点でアドバイスしました。
HoloLensでのMR技術を使いどのような解決方法があるのかを協議しました。

要件定義

クライアントが要件定義をまとめましたが、先端技術を応用するできるかどうか何度も打ち合わせを実施し実現可能な方向を提案しました。ONETECH側でMR技術ノウハウを支援しました。

基本設計・詳細設計

要件定義書をもとに、基本設計と詳細設計を対応した。

コーディング

弊社のUnity、Python規約に沿って、コーディングした。

環境構築

Microsoft One Drive経由作業実績を送信

システムテスト

単体テスト、結合テストを担当しました。

　受入テスト
クライアントが担当

■対応技術

言語：Unity

画像認識技術：ディープラーニングYolo

文字認識：OpenCV

■今後のアップデート

開発したアプリは国内外の展示会で展開し社内評価で検証

■ホロレンズ画像認識MRアプリの類似実績

・ホロレンズ（HoloLens）MR遠隔支援システム開発
AR/XR技術で、視界に手順を表示し作業を効率化、Hololens（ホロレンズ）で現実に近い作業支援を実現しています。

■オフショアでR&DやPOC開発の活用

本プロジェクトにはR&Dという要素も含まれています。また社内評価のためのPOCというステップも踏みました。オフショア開発を活用しコストダウンだけではなく、先端テクノロジーのR&DやPOC開発という案件も増加しています。

今後もAR、MRのマニュアル業界には注目していきたいと思います。