Top / 開発実績 / AR/VR/MR 開発 / バージョンアップ、デジタルツインの活用:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

バージョンアップ、デジタルツインの活用:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

バージョンアップ、デジタルツインの活用:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ
Data
内容

バージョンアップ、デジタルツインの活用:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

ARマニュアル機能とデジタル数値AI認識機能をアップデート

 

デジタルツインの活用として、本アプリは作業者と遠隔地にいるエキスパートとリアルタイムで作業の状況を共有することができます。作業者が知識が乏しい状態でもエキスパートからの遠隔支援することで正確な作業をすることができます。インフラ、製造業、医療などの停止することのできないシステムを持っている現場など流通、物流、倉庫、製造、建設、検品など様々な分野での応用が見込まれます。人手不足による、教育や研修時間が十分に確保できない問題や移動時間をできるだけ短縮したいなどの課題解決になります。今回のアップデートでARマニュアル機能と、セブンセグメントのデジタル数値を認識する機能をアップデートしました。

従来の画面共有ではスマートフォンやWEBカメラで作業のようすを撮影する必要がありました。遠隔支援MRアプリではMicrosoft HoloLens2を使用して視野の共有ができるため、片手をカメラに取られることなく、両手の作業を可能(ハンズフリー)にします。実際には視野の共有を利用した修理や保守、検査、そしてトレーニングの現場で役立てられています。

 

 

人手不足と働きかた改革の矛盾

 

人手不足と働きかた改革には生産性を改善するために大きな矛盾があります。
時短勤務で新人教育に時間を割くことができない。
新人を現場に行かせるにはスキルギャップがあって不安。
エキスパートが現場に行って指導すると移動する時間を多く取られてしまう。
人手不足や働き方改革の中で生産性を改善していくことは非常に難しくなっています。


MRアプリの機能

 

  • シグナルサーバー経由デバイス連携成功後WebRTCで動画チャネル、音声チャネル、データチャネル同期
  • 製品情報の表示(基幹システムから該当商品のCSVを抽出して詳細情報を閲覧)
  • 空間アンカー表示
  • ARマニュアルを空間に表示
  • WebRTCでのライブストリーミング
  • CGモデルの共有・オブジェクトの投影
  • 作業機器のAI自動画像認識、デジタル数値認識
  • ユーザー選択(専門別にエキスパートを選択)
  • 作業前後の画像撮影
  • サーバーへの作業ログ通信

空間アンカーとは作業者の視野に矢印や注釈などを固定する機能です。これによりHoloLens2を使用している作業者は技術者からの指示を的確に理解して作業ができます。加えて両手を作業に使用したまま(ハンズフリー)音声操作が可能です。HoloLens2は様々な言語に対応しており、騒音のするような喧騒な環境でも動作します。UNITYで開発していますので他のARグラスデバイスなどにも移植可能です。

 

 

アップデート1:ARマニュアル機能

 

ARマニュアルが空間上に表示されます。ホロレンズアプリで商品番号を読み取り、基幹システムからマニュアル情報を読み出します。マニュアルから該当箇所を選択すると目の前にデジタルマニュアルが浮かび上がります。マニュアルは必要な時以外にはHoloLens2で見ている視野の横や後ろの空間に置いておくことができます。そのため作業に集中できマニュアルが必要なときにはすぐに確認しやすくなっています。

アップデート2:デジタル数値AI認識機能

 

7セグメントディスプレイのデジタル数字を認識するモジュールをアプリに搭載しました。
デバイスのデジタル数字が表示されている枠内の数字を自動解析します。決定木の手法と
SSOCR(seven segment optical character recognition)を利用しました。作業中に非IoT機器の情報をOCR技術で良い取ることができます。

7セグメントディスプレイのデジタル数字認識OCRモジュール開発(SSOCR)

デジタルツインとは

 

デジタルツインは、現実世界の建物や製造物、あるいは空間全てをサイバー空間に再現し、現実世界さながらのシミュレーションを仮想的に実現することができる技術です。キーワードはリアルタイム現実です。

リアルタイムと現実をIoT5Gで実現するデジタルツイン

 

そんなCPSを達成するために不可欠なのが、IoT技術です。IoTはあらゆるセンサーをネットワークに接続し、集中管理でデータをインプットすることができる技術ですが、人間や交通機関、建物にセンサーを取り付け、データを集めることによって、優れたデジタルツインを実現することが可能になります。IoTを使えば、一挙に膨大な数の現実世界のデータを収集することができるようになりますが、さらにこの通信を迅速に促してくれるのが、5Gの力です。
次世代の高速通信を可能にする5Gによって、これまでにない速度でインプットしたデータをリアルタイムに送信できることで、より詳細なデータの送受信が可能になります。
実際に現実世界を模倣したサイバー空間を体験する際にも、現実世界のように滑らかな体験をどこでも実感することができるようになるでしょう。

 

リアルタイムと現実も実現するMRアプリのアーキテクチャ

ホロレンズ2遠隔支援MRアプリアーキテクチャ

ホロレンズ2遠隔支援MRアプリアーキテクチャ

MRアプリの貸し出し

 

ONETECHでは、本アプリにご興味のあるお客様へアプリの貸し出しも行なっております。またベトナムでR&Dチームを組み本アプリのバージョンアップを実施しています。

 

バージョン1はこちら

 

デジタルツインの活用例:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

実績一覧

バーチャル空間で実際にオフィスにいるかのように、VR空間上で会議や共同作業をします。 TapStrap(タップストラップ)をつかったタッチタイピングも可能です。 VRバーチャルオフィスアプリを開発しました。Oculus Questに対応しています。

橋梁やトンネルなどの保守点検業務のDX(デジタルトランスフォーメーション)のための研究開発案件です。点検履歴は通常設計図に補修箇所や補修箇所の情報を手書きで書き込んで残しています。今回はまず紙データの点検履歴をデータ化します。そしてホロレンズ上で点検履歴を現物と照査してAR表示する研究開発を実施しました。

ウィズコロナ時代のニューノーマル非接触型コミュニケーションとして期待されているVR会議システム、VRオフィスシステム。2020年7月のセミナーで披露しましたが、非常にお問い合わせが多く9月に再度バージョンアップを行いました。

2016年7月ベトナム広告制作会社様の駐在員事務所の設立をしました。弊社代表のグエンラムタオが現地責任者となりました。この広告制作会社様はWEB開発、アプリ開発を多く手掛けています。特に最近はxR分野に力を入れている会社です。日本の地方都市に会社があり、エンジニアの人材不足に課題を持っておりました。

企業の研修コスト削減!Oculus Questで飲食チェーン接客トレーニングVRアプリ開発 VR(バーチャルリアリティ:仮想現実)コンテンツとVRアプリ開発を行いました。 新人やアルバイトの従業員がOculus QuestのHMDを装着して 飲食店にお客様が来客してからお会計までのトレーニングのシミュレーションができます。