Home / 開発実績 / R&D / デジタルツインの活用例:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

デジタルツインの活用例:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

デジタルツインの活用例:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ
data
内容

デジタルツインの活用例:Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ

このアプリは作業者と遠隔地にいるエキスパートとリアルタイムで作業の状況を共有することができます。そのため、作業者の知識が乏しい状態でもエキスパートからの遠隔支援でフォローすることで作業を継続することに繋がります。インフラ、製造業、医療などの停止することのできないシステムを持っている現場など流通、物流、倉庫、製造、建設、検品など様々な分野での応用が見込まれます。

 

従来の画面共有ではスマートフォンやWEBカメラで作業風景を撮影する必要がありました。遠隔支援MRアプリではMicrosoft HoloLens2を使用して視野の共有ができるため、片手をカメラに取られることなく、両手の作業を可能にします。実際には視野の共有を利用した修理や保守、検査、そしてトレーニングの現場で役立てられています。

人手不足と働きかた改革の矛盾

人手不足と働きかた改革には生産性を改善するために大きな矛盾があります。

時短勤務で新人教育に時間を割くことができない。
新人を現場に行かせるにはスキルギャップがあって不安。
エキスパートが現場に行って指導すると移動する時間を多く取られてしまう。

人手不足や働き方改革の中で生産性を改善していくことは非常に難しくなっています。

MRアプリの機能

  • シグナルサーバー経由デバイス連携成功後WebRTCで動画チャネル、音声チャネル、データチャネル同期
  • 製品情報の表示(基盤システムから該当商品のCSVを抽出して詳細情報を映らん)
  • 空間アンカー表示
  • AR空間へのマニュアル固定
  • WebRTCでのライブストリーミング
  • CGモデルの共有・現物への投影
  • CGモデルの操作
  • ユーザー選択(エキスパート・支援者)
  • 作業前後画像撮影
  • サーバーへの作業ログ通信

空間アンカーとは作業者の視野に矢印や注釈などを固定する機能です。

これによりHoloLens2を使用している作業者は技術者からの指示を的確に理解して対処に当たることができます。

また、マニュアルは必要な時以外にはHoloLens2で見ている視野の横や後ろの空間に置いておくことができるため、作業に集中でき、読む必要ができたときにはすぐに確認しやすくなっています。

加えて両手を作業に使用したまま、音声操作が可能です。

HoloLens2は様々な言語に対応しており、騒音のするような喧騒な環境でも動作します。

 

デジタルツインとは

デジタルツインは、現実世界の建物や製造物、あるいは空間全てをサイバー空間に再現し、現実世界さながらのシミュレーションを仮想的に実現することができる技術です。キーワードはリアルタイム現実です。

リアルタイムと現実をIoT5Gで実現するデジタルツイン

そんなCPSを達成するために不可欠なのが、IoT技術です。

IoTはあらゆるセンサーをネットワークに接続し、集中管理でデータをインプットすることができる技術ですが、人間や交通機関、建物にセンサーを取り付け、データを集めることによって、優れたデジタルツインを実現することが可能になります。

IoTを使えば、一挙に膨大な数の現実世界のデータを収集することができるようになりますが、さらにこの通信を迅速に促してくれるのが、5Gの力です。

次世代の高速通信を可能にする5Gによって、これまでにない速度でインプットしたデータをリアルタイムに送信できることで、より詳細なデータの送受信が可能になります。

実際に現実世界を模倣したサイバー空間を体験する際にも、現実世界のように滑らかな体験をどこでも実感することができるようになるでしょう。

 

リアルタイムと現実も実現するMRアプリのアーキテクチャ

ホロレンズ2遠隔支援MRアプリアーキテクチャ

ホロレンズ2遠隔支援MRアプリアーキテクチャ

MRアプリの貸し出し

ONETECHでは、本アプリにご興味のあるお客様へアプリの貸し出しも行なっております。またベトナムでR&Dチームを組み本アプリのバージョンアップを実施しています。

 

実績一覧

ONETECHはベトナムでVR(バーチャルリアリティ:仮想現実)空間でアバターでコミュニケーションができるバーチャルオフィスシステムを開発しています。 今回のアップデートで、実際のオフィスのようにエントランスからロビーを通り会議室に入室して会議ができるように更新しました。

リモート営業支援システム(WEB会議)を研究開発しました。 お店に来客したお客さはスタッフを呼び出してオンラインで通話できるシステムです。Amazon Chime SDK、Lambda、Web会議アプリをAWS上にサーバーレス構成で作成しました。

オンライン授業が進む集団塾向けのeラーニングシステムの性能改善をしました。講師と生徒はタブレットで授業をします。最大40人が使うシステムです。画像データをbase64へエンコードすることでデータ量を改善して読み込みスピードを改善しました。

ap Systems社の「Tap Strap(タップ・ストラップ)」はVR空間でもタイピングを行うことができる”ウェアラブルキーボード”です。Oculus Questでサポートされていない日本語入力にも研究開発して対応しました。

危険が伴う場所での遠隔測定、人員不足のために測定業務を自動化したいという課題でのお問い合わせありました。そこで弊社ではiPad ProやiPhone12より精度の高いIntel RealSense LiDAR Camera L515を利用して遠隔測定アプリケーションを作成する研究開発をしました。

無料相談
お問い合わせ