Homeスマートファクトリーへ製造業向けHoloLens2でMR作業支援システム開発
| 業界 | 製造 |
|---|---|
| サービス | 作業支援システム |
| 開発言語 | Unity・Python |
| デバイス | ホロレンズ２ |
| ARエンジン | Vuforia |
| 対応範囲 | 要件定義、設計、コーデイングから導入支援まで |
| リリース日 | 2020年03月 |
スマートファクトリーへ製造業向けHoloLens2でMR作業支援システム開発
現場の作業者を支援するためのMR作業支援アプリケーション開発をしました。MR（ミックスドリアリティ、複合現実）
ユーザー（作業者）はホロレンズ２を装着しアプリケーションを起動します。
IoTデバイスからの情報を受け取りながら作業手順がホログラムで目の前に現れます。
デジタルツインやスマートファクトリーを実現するソリューションです。
製造業の課題
現場では作業者が手順通りに作業しているのか管理できていません。
昨今の人手不足の中で十分な研修を受けずに作業しているものもいます。
品質を担保するために作業手順や作業結果をリアルタイムに管理する必要があります。
MR作業支援アプリケーションの特徴
作業者はホロレンズを装着し、ARマーカー（Vuforiaで開発)を読み込んで作業工程を選択します。
作業手順情報は基幹システムからホロレンズへ送信されます。
ARで作業順番がホロレンズ越しに表示されます。
IoTデバイスを使い作業を実施します。
IoTデバイス情報をホロレンズに送信します。
IoTデバイスの作業解析を行い作業結果を判断します。
業務ごとに各部品のARマークをトリガーとして作業手順を表示します。
各ステップの業務エビデンスをホロレンズにてキャプチャしサーバー保存します。
このプロセスにより作業者の業務負荷の軽減、業務品質の向上が見込まれます。
開発期間
期間：2019年03月~2020年03月
規模：25人月
MR作業支援アプリケーションの対応範囲
課題ヒアリング
パートナーと業務課題を数回ヒアリングし要件定義をサポート
要件定義
パートナーが業務フローに沿って要件定義をまとめました。ONETECHも要件定義を支援
基本設計書・詳細設計書
要件定義に基づいて基本設計書・詳細設計書を作成、レビューを実施
コーデイング
弊社側のコーデイング規約に沿ってコーデイング
システムテスト
単体テスト/結合テストを担当。
各テストに応じて品質指標に沿って実施
システム開発の品質指標
社内バグ検出密度：4～10/1人月
社外バグ検出密度：0～0.5/1人月
受入テスト
現場で受入テストを実施し、顧客側の担当者が実施
システム開発の技術
ARエンジン：Vuforia
アプリケーション開発言語：Unity
IoTデバイス開発言語：C#/Python
類似実績
3Dホログラムを活用したHoloLens（ホロレンズ）2アプリ開発
設計事務所が物流倉庫建設のプレゼンテーションをするために複数のホロレンズで３Dの物流倉庫の建屋や内装情報をCGで共有するアプリを開発しました。
このようなMR業務支援アプリは、流通、物流、倉庫、製造、建設、検品など様々な分野での応用が見込まれます。
マイクロソフトのホロレンズ２とIoTデバイスでの連携で
MR（エムアール） とは
MRとは、Mixed Realityの略で「複合現実」などと訳されます。ARだけでは表現しきれないに拡張現実に仮想現実（VR)の要素を加えたり、反対に、VRに拡張現実（AR)の要素を加えたりすることによって、現実世界と仮想現実を融合させる技術です。大きく括ればMRもVRやARと同様に、現実の世界と仮想の世界をITの活用で融合させる技術のひとつである。
Microsoft HoloLens|マイクロソフトホロレンズとは
HoloLens（ホロレンズ）とは、2016年に米国マイクロソフト社が開発したシースルー（透過）型と呼ばれるヘッドマウントディスプレイ（HMD）型の表示装置です。MRデバイスの先駆的な製品で、様々な産業（医療、建設、建築、製造、教育、流通、物流）の作業現場などでのビジネス活用も進んでいます。ONETECHは、2017年からHoloLens（ホロレンズ）アプリ開発を始めました。
Microsoft HoloLens 2|マイクロソフトホロレンズ2とは
2019年にHoloLens 2が発売されました。初代HoloLensから進化したポイントの1つとして、解像度と視野角が倍増した点があります。HoloLensの解像度がHDであるのに対して、HoloLens 2は2Kの解像度を採用。また、HoloLens 2には1度につき47ピクセルの視野角があり、初代機よりもキレイな映像を体験できます。軽量化により装着感が改善されていて、デバイスの使いやすさが向上しているのも特徴です。
【主な改良点】
視野の拡大: HoloLens 2は前作の2倍の視野角を確保
装着感の改善: 快適性が前作に比べて3倍まで向上
操作性の向上: ハンドトラッキングの改善で両手の指を認識し３Dオブジェクトを掴むことが可能
スペックの向上: プロセッサの性能アップにより使いやすさを改良
クラウド連携: Microsoft Azureとの連携強化
より産業用に特化したHoloLens 2は、まだ世の中で想像もできていないような領域や業務の改善ができる可能性があります。
デジタル技術の進歩により、世界はクラウドコンピューティング、IoT、スマートスペース、スマート工場のようなインダストリー4.0に入りました。
VR/AR/MR技術に関係するHoloLensアプリ開発は、すべての分野で作業効率を最適化します。
デジタル活用教育推進に伴い、教育機関向けにVRアプリを開発しました。 複数のVRデバイスからアバターを選択して360度動画のVR空間に参加することができます。 ホストはVRコントローラーを操作して、動画の一時停止やポインターで空間の特定の位置を指し示しながら授業が可能です。
北海道科学大学と連携して診療放射線機器の操作トレーニングのためのVRアプリを開発しました。 このアップデートでは新規シナリオが追加され、立位モードでは人体の向きを自由に変更することができるようになりました。 また、撮影時の手順を詳細にガイドするシナリオモードも実装されました。
XRを活用したホロレンズトレーニングアプリをアップデートしました。寿司職人が実際にマダイを捌く動画を完全にCGアニメーション化しました。microsoftホロレンズ2でマダイの捌き方のアニメーション動画を現実空間に投影しながらXRを活用して業界の人手不足を解決する試みです。
■医療者向けひざ角度測定 VRトレーニングアプリ対応 北海道科学大学と協力して、患者のひざの状態を確認するトレーニングのためのVRアプリを開発しました。 このアップデートでは、新しいシナリオが追加され
AR技術のVPSの研究開発の一環としてVPSベースのマーカ不要のARアプリを開発しました。 VPSにより空間認識を正確に処理しマーカーレスで屋内の道順を案内できるARアプリです。 空間を認識した上で、道順を作成するコンテンツ作成機能も実装しました。