Home / 開発実績 / XR(AR/VR/MR) / UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発
data
内容

■UNITY/PythonでHoloLens画像認識MRアプリ開発

HoloLensでMR(ミックスドリアリティ:複合現実)アプリをUNITY/Pythonで制作しました。

現場で作業者はホロレンズを着用しアプリを起動します。目の前にある物体を認識すると3Dモデルが表示されます。その物体を測定すると測定結果がホロレンズに表示されます。測定器の液晶表示をOCR技術で文字認識して自動読込します。作業結果は、ホロレンズアプリで基準に照らし合わせてOKかNGかを判断します。作業エビデンスはホロレンズカメラでキャプチャしてクラウドの管理サーバーへ送信されます。ホロレンズアプリにはあらかじめ作業データが入っているので作業者はハンズフリーで検品作業を進めることができます。

 

■製造ラインや検品作業での作業者の課題

製造ラインや、検品作業での作業者の課題はいくつかあります。
・毎回、作業内容が変わる。
・製造や検品作業結果の判定時の人的ミスが起こる。
・作業結果を手書きで入力する。時間がかかりミスも発生。

 

Spectator View(スペクテータービュー)で第三者にプレゼン

Spectator Viewという機能でHoloLensを使用しているユーザーの視点を第三者に共有することができます。HoloLensで現在見ている視点を同時に近くのモニターなどに映し出すことができます。営業シーンや展示会でのプレゼンテーションなどに利用します。

 

■ホロレンズ画像認識MRアプリの特徴

・商品や製品情報の登録
・作業マニュアルの表示
・オブジェクトの画像認識と該当オブジェクトの3Dモデルの表示
・液晶デジタル数値の文字認識(openCV)、画像認識(DeepLearning YOLO)
・スペクテータービューで第三者にプレゼンテーション

■開発期間

開発期間:2018年11月から2019年10月まで

規模:72人月

■対応範囲

課題のヒヤリング

クライアントの製造現場や検品作業の現場での課題をヒアリングし、技術的観点でアドバイスしました。
HoloLensでのMR技術を使いどのような解決方法があるのかを協議しました。

要件定義

クライアントが要件定義をまとめましたが、先端技術を応用するできるかどうか何度も打ち合わせを実施し実現可能な方向を提案しました。ONETECH側でMR技術ノウハウを支援しました。

基本設計・詳細設計

要件定義書をもとに、基本設計と詳細設計を対応した。

コーディング

弊社のUnity、Python規約に沿って、コーディングした。

環境構築

Microsoft One Drive経由作業実績を送信

システムテスト

単体テスト、結合テストを担当しました。

 受入テスト
クライアントが担当

■対応技術

言語:Unity

画像認識技術:ディープラーニングYolo

文字認識:OpenCV

■今後のアップデート

開発したアプリは国内外の展示会で展開し社内評価で検証

ホロレンズ画像認識MRアプリの類似実績

ホロレンズ(HoloLens)MR遠隔支援システム開発
AR/XR技術で、視界に手順を表示し作業を効率化、Hololens(ホロレンズ)で現実に近い作業支援を実現しています。

■オフショアでR&DやPOC開発の活用

本プロジェクトにはR&Dという要素も含まれています。また社内評価のためのPOCというステップも踏みました。オフショア開発を活用しコストダウンだけではなく、先端テクノロジーのR&DやPOC開発という案件も増加しています。

 

今後もAR、MRのマニュアル業界には注目していきたいと思います。

実績一覧

スマホ(Android/iphone)で手軽にVR動画を楽しめる動画再生アプリを開発しました。VR動画と2D動画の両方で学べる美容業界の教育動画サービスとなります。VR動画を立体的に見る為の、VR用の再生アプリとなります。

スマホアプリで商品パッケージをARフレームワークのVuforiaで読み取り、ARコンテンツ動画が楽しめます。 iPhone/Androidのアプリを制作しました。ARコンテンツを利用した販売促進キャンペーンにAR(Augumented Reality:拡張現実)が活用された事例です。

製造業のエンドクライアントからの要望でホロレンズMR遠隔支援アプリを制作 製造現場の複数拠点から3Dモデルも共有しながらリアルタイム通話で打ち合わせを実施できます。 UNITYとAR Foundationを利用して開発しました。

ホロレンズ、スマホで工作機械の起動手順、保守点検作業をARでガイドします。定期的な保守点検作業では作業記録を本アプリで記録して本部に送付することで業務効率化が実現できます。ポイントは、任意のARガイドの設定ができるので汎用性の高いシステムになっています。UNITYで制作しました。

お客様が該当の商品を購入して、パッケージを専用ARアプリで読み取ると人気アーティストのオリジナル動画が流れます。スマホアプリ(iOS/Andoroid) 自分の部屋の中で人気アーティストのパフォーマンスをARとして見ることができます。

無料相談
お問い合わせ