Homeデジタルツインの活用例：Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ
| 業界 | インフラ、医療、流通、物流、倉庫、製造、建設、検品 |
|---|---|
| ジャンル | R&D 研究開発 |
| 開発言語 | UNITY |
| 通話/動画/データ通信 | WebRTC |
| デバイス/OS | PC/Microsoft HoloLens2 |
| 開発期間 | ２ヶ月 |
デジタルツインの活用例：Microsoft HoloLens2(ホロレンズ2) 遠隔支援MRアプリデモ
このアプリは作業者と遠隔地にいるエキスパートとリアルタイムで作業の状況を共有することができます。そのため、作業者の知識が乏しい状態でもエキスパートからの遠隔支援でフォローすることで作業を継続することに繋がります。インフラ、製造業、医療などの停止することのできないシステムを持っている現場など流通、物流、倉庫、製造、建設、検品など様々な分野での応用が見込まれます。
従来の画面共有ではスマートフォンやWEBカメラで作業風景を撮影する必要がありました。遠隔支援MRアプリではMicrosoft HoloLens2を使用して視野の共有ができるため、片手をカメラに取られることなく、両手の作業を可能にします。実際には視野の共有を利用した修理や保守、検査、そしてトレーニングの現場で役立てられています。
人手不足と働きかた改革の矛盾
人手不足と働きかた改革には生産性を改善するために大きな矛盾があります。
時短勤務で新人教育に時間を割くことができない。
新人を現場に行かせるにはスキルギャップがあって不安。
エキスパートが現場に行って指導すると移動する時間を多く取られてしまう。
人手不足や働き方改革の中で生産性を改善していくことは非常に難しくなっています。
MRアプリの機能
- シグナルサーバー経由デバイス連携成功後WebRTCで動画チャネル、音声チャネル、データチャネル同期
- 製品情報の表示（基盤システムから該当商品のCSVを抽出して詳細情報を映らん）
- 空間アンカー表示
- AR空間へのマニュアル固定
- WebRTCでのライブストリーミング
- CGモデルの共有・現物への投影
- CGモデルの操作
- ユーザー選択（エキスパート・支援者）
- 作業前後画像撮影
- サーバーへの作業ログ通信
空間アンカーとは作業者の視野に矢印や注釈などを固定する機能です。
これによりHoloLens2を使用している作業者は技術者からの指示を的確に理解して対処に当たることができます。
また、マニュアルは必要な時以外にはHoloLens2で見ている視野の横や後ろの空間に置いておくことができるため、作業に集中でき、読む必要ができたときにはすぐに確認しやすくなっています。
加えて両手を作業に使用したまま、音声操作が可能です。
HoloLens2は様々な言語に対応しており、騒音のするような喧騒な環境でも動作します。
デジタルツインとは
デジタルツインは、現実世界の建物や製造物、あるいは空間全てをサイバー空間に再現し、現実世界さながらのシミュレーションを仮想的に実現することができる技術です。キーワードはリアルタイムと現実です。
リアルタイムと現実をIoTと5Gで実現するデジタルツイン
そんなCPSを達成するために不可欠なのが、IoT技術です。
IoTはあらゆるセンサーをネットワークに接続し、集中管理でデータをインプットすることができる技術ですが、人間や交通機関、建物にセンサーを取り付け、データを集めることによって、優れたデジタルツインを実現することが可能になります。
IoTを使えば、一挙に膨大な数の現実世界のデータを収集することができるようになりますが、さらにこの通信を迅速に促してくれるのが、5Gの力です。
次世代の高速通信を可能にする5Gによって、これまでにない速度でインプットしたデータをリアルタイムに送信できることで、より詳細なデータの送受信が可能になります。
実際に現実世界を模倣したサイバー空間を体験する際にも、現実世界のように滑らかな体験をどこでも実感することができるようになるでしょう。
リアルタイムと現実も実現するMRアプリのアーキテクチャ
ホロレンズ２遠隔支援MRアプリアーキテクチャ
MRアプリの貸し出し
ONETECHでは、本アプリにご興味のあるお客様へアプリの貸し出しも行なっております。またベトナムでR&Dチームを組み本アプリのバージョンアップを実施しています。
VR対応アプリケーション用3Dモデリング実績を紹介。ポリゴン数やブラウザでも表示するという制約内でリアルな車両モデルの製作。質・技術の向上に注力。クライアント満足実績多数。ベトナムオフショアで低コストで製作可能。
今回、HoloLensアプリをMeta Quest3に移植し、保守メンテナンスの手順をAR（拡張現実）で表示するアプリを制作しました。このプロジェクトは、大手機械メーカーのメンテナンス作業を効率化し、
工場内で使用される運搬車両の位置情報をリアルタイムで管理し、導線を可視化するWindowsアプリを開発しました。 本アプリは、デバイスから取得した位置情報をCSVファイルとして出力する機能を搭載し、運搬車両の動きを詳細に記録します。
LiDARスキャンデータを活用し、効率的にCGデータを生成しました。m区敵はメタバースとデジタルツインを構築です。Gaussian Splattingなどの最新技術を応用し、今後は自動化されたCG制作技術の研究開発にも取り組む予定です。現実空間とCG空間を連動させる次世代の技術を提供します。
ONETECHはベトナムでVR（バーチャルリアリティ：仮想現実）空間でアバターでコミュニケーションができるバーチャルオフィスシステムを開発しています。 今回のアップデートで、実際のオフィスのようにエントランスからロビーを通り会議室に入室して会議ができるように更新しました。