Top / 開発実績 / AR/VR/MR 開発 / UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発

UNITY/Pythonでホロレンズ(HoloLens)画像認識MRアプリ開発
Data
内容

■UNITY/PythonでHoloLens画像認識MRアプリ開発

HoloLensでMR(ミックスドリアリティ:複合現実)アプリをUNITY/Pythonで制作しました。

現場で作業者はホロレンズを着用しアプリを起動します。目の前にある物体を認識すると3Dモデルが表示されます。その物体を測定すると測定結果がホロレンズに表示されます。測定器の液晶表示をOCR技術で文字認識して自動読込します。作業結果は、ホロレンズアプリで基準に照らし合わせてOKかNGかを判断します。作業エビデンスはホロレンズカメラでキャプチャしてクラウドの管理サーバーへ送信されます。ホロレンズアプリにはあらかじめ作業データが入っているので作業者はハンズフリーで検品作業を進めることができます。

 

■製造ラインや検品作業での作業者の課題

製造ラインや、検品作業での作業者の課題はいくつかあります。
・毎回、作業内容が変わる。
・製造や検品作業結果の判定時の人的ミスが起こる。
・作業結果を手書きで入力する。時間がかかりミスも発生。

 

Spectator View(スペクテータービュー)で第三者にプレゼン

Spectator Viewという機能でHoloLensを使用しているユーザーの視点を第三者に共有することができます。HoloLensで現在見ている視点を同時に近くのモニターなどに映し出すことができます。営業シーンや展示会でのプレゼンテーションなどに利用します。

 

■ホロレンズ画像認識MRアプリの特徴

・商品や製品情報の登録
・作業マニュアルの表示
・オブジェクトの画像認識と該当オブジェクトの3Dモデルの表示
・液晶デジタル数値の文字認識(openCV)、画像認識(DeepLearning YOLO)
・スペクテータービューで第三者にプレゼンテーション

■開発期間

開発期間:2018年11月から2019年10月まで

規模:72人月

■対応範囲

課題のヒヤリング

クライアントの製造現場や検品作業の現場での課題をヒアリングし、技術的観点でアドバイスしました。
HoloLensでのMR技術を使いどのような解決方法があるのかを協議しました。

要件定義

クライアントが要件定義をまとめましたが、先端技術を応用するできるかどうか何度も打ち合わせを実施し実現可能な方向を提案しました。ONETECH側でMR技術ノウハウを支援しました。

基本設計・詳細設計

要件定義書をもとに、基本設計と詳細設計を対応した。

コーディング

弊社のUnity、Python規約に沿って、コーディングした。

環境構築

Microsoft One Drive経由作業実績を送信

システムテスト

単体テスト、結合テストを担当しました。

 受入テスト
クライアントが担当

■対応技術

言語:Unity

画像認識技術:ディープラーニングYolo

文字認識:OpenCV

■今後のアップデート

開発したアプリは国内外の展示会で展開し社内評価で検証

ホロレンズ画像認識MRアプリの類似実績

ホロレンズ(HoloLens)MR遠隔支援システム開発
AR/XR技術で、視界に手順を表示し作業を効率化、Hololens(ホロレンズ)で現実に近い作業支援を実現しています。

■オフショアでR&DやPOC開発の活用

本プロジェクトにはR&Dという要素も含まれています。また社内評価のためのPOCというステップも踏みました。オフショア開発を活用しコストダウンだけではなく、先端テクノロジーのR&DやPOC開発という案件も増加しています。

 

今後もAR、MRのマニュアル業界には注目していきたいと思います。

実績一覧

バーチャル空間で実際にオフィスにいるかのように、VR空間上で会議や共同作業をします。 TapStrap(タップストラップ)をつかったタッチタイピングも可能です。 VRバーチャルオフィスアプリを開発しました。Oculus Questに対応しています。

橋梁やトンネルなどの保守点検業務のDX(デジタルトランスフォーメーション)のための研究開発案件です。点検履歴は通常設計図に補修箇所や補修箇所の情報を手書きで書き込んで残しています。今回はまず紙データの点検履歴をデータ化します。そしてホロレンズ上で点検履歴を現物と照査してAR表示する研究開発を実施しました。

デジタルツインの活用として、本アプリは作業者と遠隔地にいるエキスパートとリアルタイムで作業の状況を共有することができます。今回のアップデートでARマニュアル機能と、セブンセグメントのデジタル数値を認識する機能をアップデートしました。

ウィズコロナ時代のニューノーマル非接触型コミュニケーションとして期待されているVR会議システム、VRオフィスシステム。2020年7月のセミナーで披露しましたが、非常にお問い合わせが多く9月に再度バージョンアップを行いました。

2016年7月ベトナム広告制作会社様の駐在員事務所の設立をしました。弊社代表のグエンラムタオが現地責任者となりました。この広告制作会社様はWEB開発、アプリ開発を多く手掛けています。特に最近はxR分野に力を入れている会社です。日本の地方都市に会社があり、エンジニアの人材不足に課題を持っておりました。