Homeスマートファクトリーへ製造業向けHoloLens2でMR作業支援システム開発
| 業界 | 製造 |
|---|---|
| サービス | 作業支援システム |
| 開発言語 | Unity・Python |
| デバイス | ホロレンズ２ |
| ARエンジン | Vuforia |
| 対応範囲 | 要件定義、設計、コーデイングから導入支援まで |
| リリース日 | 2020年03月 |
スマートファクトリーへ製造業向けHoloLens2でMR作業支援システム開発
現場の作業者を支援するためのMR作業支援アプリケーション開発をしました。MR（ミックスドリアリティ、複合現実）
ユーザー（作業者）はホロレンズ２を装着しアプリケーションを起動します。
IoTデバイスからの情報を受け取りながら作業手順がホログラムで目の前に現れます。
デジタルツインやスマートファクトリーを実現するソリューションです。
製造業の課題
現場では作業者が手順通りに作業しているのか管理できていません。
昨今の人手不足の中で十分な研修を受けずに作業しているものもいます。
品質を担保するために作業手順や作業結果をリアルタイムに管理する必要があります。
MR作業支援アプリケーションの特徴
作業者はホロレンズを装着し、ARマーカー（Vuforiaで開発)を読み込んで作業工程を選択します。
作業手順情報は基幹システムからホロレンズへ送信されます。
ARで作業順番がホロレンズ越しに表示されます。
IoTデバイスを使い作業を実施します。
IoTデバイス情報をホロレンズに送信します。
IoTデバイスの作業解析を行い作業結果を判断します。
業務ごとに各部品のARマークをトリガーとして作業手順を表示します。
各ステップの業務エビデンスをホロレンズにてキャプチャしサーバー保存します。
このプロセスにより作業者の業務負荷の軽減、業務品質の向上が見込まれます。
開発期間
期間：2019年03月~2020年03月
規模：25人月
MR作業支援アプリケーションの対応範囲
課題ヒアリング
パートナーと業務課題を数回ヒアリングし要件定義をサポート
要件定義
パートナーが業務フローに沿って要件定義をまとめました。ONETECHも要件定義を支援
基本設計書・詳細設計書
要件定義に基づいて基本設計書・詳細設計書を作成、レビューを実施
コーデイング
弊社側のコーデイング規約に沿ってコーデイング
システムテスト
単体テスト/結合テストを担当。
各テストに応じて品質指標に沿って実施
システム開発の品質指標
社内バグ検出密度：4～10/1人月
社外バグ検出密度：0～0.5/1人月
受入テスト
現場で受入テストを実施し、顧客側の担当者が実施
システム開発の技術
ARエンジン：Vuforia
アプリケーション開発言語：Unity
IoTデバイス開発言語：C#/Python
類似実績
3Dホログラムを活用したHoloLens（ホロレンズ）2アプリ開発
設計事務所が物流倉庫建設のプレゼンテーションをするために複数のホロレンズで３Dの物流倉庫の建屋や内装情報をCGで共有するアプリを開発しました。
このようなMR業務支援アプリは、流通、物流、倉庫、製造、建設、検品など様々な分野での応用が見込まれます。
マイクロソフトのホロレンズ２とIoTデバイスでの連携で
MR（エムアール） とは
MRとは、Mixed Realityの略で「複合現実」などと訳されます。ARだけでは表現しきれないに拡張現実に仮想現実（VR)の要素を加えたり、反対に、VRに拡張現実（AR)の要素を加えたりすることによって、現実世界と仮想現実を融合させる技術です。大きく括ればMRもVRやARと同様に、現実の世界と仮想の世界をITの活用で融合させる技術のひとつである。
Microsoft HoloLens|マイクロソフトホロレンズとは
HoloLens（ホロレンズ）とは、2016年に米国マイクロソフト社が開発したシースルー（透過）型と呼ばれるヘッドマウントディスプレイ（HMD）型の表示装置です。MRデバイスの先駆的な製品で、様々な産業（医療、建設、建築、製造、教育、流通、物流）の作業現場などでのビジネス活用も進んでいます。ONETECHは、2017年からHoloLens（ホロレンズ）アプリ開発を始めました。
Microsoft HoloLens 2|マイクロソフトホロレンズ2とは
2019年にHoloLens 2が発売されました。初代HoloLensから進化したポイントの1つとして、解像度と視野角が倍増した点があります。HoloLensの解像度がHDであるのに対して、HoloLens 2は2Kの解像度を採用。また、HoloLens 2には1度につき47ピクセルの視野角があり、初代機よりもキレイな映像を体験できます。軽量化により装着感が改善されていて、デバイスの使いやすさが向上しているのも特徴です。
【主な改良点】
視野の拡大: HoloLens 2は前作の2倍の視野角を確保
装着感の改善: 快適性が前作に比べて3倍まで向上
操作性の向上: ハンドトラッキングの改善で両手の指を認識し３Dオブジェクトを掴むことが可能
スペックの向上: プロセッサの性能アップにより使いやすさを改良
クラウド連携: Microsoft Azureとの連携強化
より産業用に特化したHoloLens 2は、まだ世の中で想像もできていないような領域や業務の改善ができる可能性があります。
デジタル技術の進歩により、世界はクラウドコンピューティング、IoT、スマートスペース、スマート工場のようなインダストリー4.0に入りました。
VR/AR/MR技術に関係するHoloLensアプリ開発は、すべての分野で作業効率を最適化します。
医療系専門学校で臨床工学士向けの心臓カテーテル検査のトレーニングが行われています。研修では実際の手術の状況での機器の操作の仕方などを学ぶことには限界があります。そこで実際の医療現場に近い状況をバーチャル空間で再現して、反復練習できるVRの活用に注目が集まっています。
寿司職人の育成のための専門学校向けMRによる真鯛の捌き方アプリを作成 真鯛の捌き方をリアルに再現するための3Dモデリングとアニメーション Microsoft HoloLens 2アプリをUnityで開発 HoloLens 2を装着してリアルな体験ができるインタラクティブな学習体験の設計
ある工場で産業用ロボットの操作を実行する前のトレーニングで使用します。VRのトレーニングを通じて技術的な把握を深めリスクを軽減します。UNITYでVRアプリを開発しました。VRコントロールアプリはOculus Questデバイスで実行されるソフトウェアアプリケーションです。
iPhoneのLiDAR技術は、空間を高精度でスキャンし、保守点検作業を革新します。ユーザーはiPhoneを対象物に向け、LiDARセンサーがレーザー光を放射し、その反射を測定。これにより、建物や機器の3Dモデルが生成され、劣化箇所や異常を簡単に検出できます。
寿司協会様からの依頼で寿司職人向けのトレーニング補助アプリをスマートグラス「マイクロソフト ホロレンズ２」で作成しました。CGコンテンツは３DsMAXで製作し、ホロレンズARアプリはUNITYで制作しました。今回は要望を聞き取り企画から提案しアプリ制作まで実施しました。