Top / 開発実績 / AR/VR/MR 開発 / ホロレンズ(HoloLens)画像認識MRアプリ制作(Windows)

ホロレンズ(HoloLens)画像認識MRアプリ制作(Windows)

ホロレンズ(HoloLens)画像認識MRアプリ制作(Windows)
Data
内容

ホロレンズ(HoloLens)画像認識MRアプリ制作(Windows)を制作。
業務支援のためのアプリです。

作業者は点検やメインテナンス業務の際に、ホロレンズを装着し
点検する対象物を眺めるとホロレンズが自動的にその対象物を読み取り
対象物の情報をホロレンズの画面上にホログラムとして表示します。

リアルタイム画像認識フレームワーク「Yolo」と「OpenCV」を利用。

物体や文字を画像認識で読み取ることに成功しました。
特に難易度の高かったのがデジタル数値の文字の読み取り技術です。
OCRに近いプロセスで設計して高精度で文字を読み取ることに成功しました。

作業データや作業の査証となる画像データはサーバー側(Microsoft One Drive)
にデータ格納。

このアプリにより従来の業務が効率化されます。
従来の作業過程では作業のチェックをPCなどにインプットする作業がありました。
また新人などのスキルを満たさない作業者にはあらかじめトレーニングを施す必要がありました。

このアプリではハンズフリーで作業結果を登録、また目の前にマニュアルや作業の
チュートリアルを表示させることが可能で、スキルギャップを意識せずに新人でも
作業することが可能です。

今後は別で開発実装済みのホロレンズの遠隔支援アプリの機能をマージしまして
機能拡張をしていく予定です。

またホロレンズ2への対応もしております。

ホロレンズ(HoloLens)MR業務効率化支援アプリ。
C#/Unity/OpenCV/Vuforia/Python/DeepLearning(Yolo Framework)/Microsoft One Drive

実績一覧

外食チェーン店の接客トレーニング用にVRコンテンツとアプリ開発を行いました。

AR(拡張現実)技術を使って、スマホのカメラに映し出された自分の部屋などの空間に、家具やインテリアの3D データを、実物大で配置することできるアプリを開発

サーバー側の環境構築とアプリから画像を取得、URL発行までのサーバー側のAPIを開発しました。

マイクロソフトのホロレンズ2とIoTデバイスでの連携で MR(ミックスドリアリティ:複合現実)での業務支援を行います。

VRヘッドマウントディスプレイのHTC VIVEを使用し、実際の現場で起こりうる事故を仮想空間内で体験 できる危険体験シミュレーター