Appleは現在、ポケモンGOなどのようなAR開発に力を入れています。
ARアプリケーションではAR画像上の3Dモデルと周辺環境の距離情報が表現に大きく影響します。
ONETECHはベトナムにてUNITYでのAR開発を得意としています。今回はAppleのiPhone12 pro、iPad Proに搭載された「LiDARスキャナ」がAR開発をどのように進化させるのかを考えてみます。
距離情報を正確に測定できる「LiDARスキャナ」がiPhone12 pro、iPad Proに搭載されました。
LiDARスキャナの普及によりARアプリケーションの普及や性能の向上にどのような影響があるのでしょうか。
iPad Pro-LiDAR-3D認識の向上でAR開発が加速 – (Image Source: Apple)
LiDAR（ライダー）とは
LiDARスキャナの LiDAR は「Light Detection and Ranging」略で、光で距離を測定する技術のことです。
近年の自動運転技術でもLiDARは注目されています。市街地における自動運転にはLiDARが必要不可欠と言われるほどの技術です。
iPad Proでは、光が物体の表面に反射して返ってくるまでの時間を測定して距離を測る ToF (Time of Flight)方式を採用しています。
ToF方式を使用して撮影された画像では1ピクセルごとに距離情報が含まれており、点ではなく、面で情報をえることができます。
iPad pro New Camera – (Image Source: Apple)
LiDARスキャナは広い範囲を取得することで、周辺の3Dマップを得られることが特徴です。
iPad ProのLiDARスキャナでできること
近年AppleはAR開発分野に力を入れています。
LiDARスキャナはAR開発の促進のために新iPad Proに搭載されました。
ポケモンGOなどのARアプリを一般的なカメラで使用するためには事前にカメラを明るい場所に向けたり、円を描くように動かしたりして画像の距離を決める「基準点」を決める必要がありました。
しかし、iPad ProのLiDARスキャナでは撮影した情報に距離情報が含まれているため、基準点を定める必要がなく、より早く、より正確にARアプリが使えます。
iPad Proに「LiDARスキャナ」が搭載 – (Image Source: Apple)
また、距離情報を元に撮影した対象の長さや大きさの測定、動きの認識の精度が向上します。
撮影対象の測定向上により、スポーツや健康分野での応用が期待されています。
AR開発における恩恵
LiDARスキャナと3Dモデルを組み合わせると壁や建物などの障害物の距離関係が明確になるため、「あるオブジェクトが障害物の後に隠れる」という表現ができます。
その際、隠れている部分の描画をやめて、描画の負荷を軽くする「オクルージョンカリング」という処理ができます。
例えば、様々なカメラワークでの表現や障害物の多いマップでの描画であっても処理の負荷を抑えることを助けます。
AR開発におけるハードウェア等のスペック要件に影響するでしょう。
ARKitで出来なかったことが可能に
ARkitでは、垂直面や水平面をスキャンすることが基本となっていて３Dを立体的に認識することが苦手でした。Arkitだと画像認識の精度の限界で障害物の後にオブジェクトを隠れるさせるという時にどうしても障害物とオブジェクトが被ってしまっていました。また、iPhone で環境を認識させるためには本体を動かして認識させる必要がありました。
LiDARスキャナでは「オクルージョンカリング」でこれが瞬時にできるようになりました。
Microsoft HoloLensに少し近づいた！？
新iPad ProはLiDARスキャナ搭載でMicrosoft HoloLens（ホロレンズ）に一歩近づいたかもしれません。 HoloLens（ホロレンズ）はいまだトップクラスのAR体験を提供できるデバイスですが、価格は１台3,500USDと現場に投入するには限られた大企業や業種でないと難しい状況です。一方新iPad ProでできるAR体験が広がったことによって用途は広がるでしょう。
新型iPad ProでできるAR体験
立体形状スキャンしてCADやBIMに応用
新型iPad ProではLiDARで物体や周辺環境をスキャンし、点群データやメッシュデータなどの3Dデジタルデータに変換するアプリも開発されています。iPad Proを使いCADやBIMに応用することや、その逆のことも可能です。
3DCG/BIM設置シミュレーションARアプリ
インテリア家具を配置するアプリはIKEAが有名ですが、BIMデータの3Dモデルを現実の建屋などの空間に配置することが可能になります。
LiDARスキャナのiPhone搭載
iPhoneでは今年秋に発表予定のiPhone 12(仮)でLiDARスキャナを搭載する可能性があると報じられています。
これはiOS内からiPhone 11 Pro後継モデルの背面画像イメージが発見されたことがきっかけでした。
その画像にはiPhone 11 Proシリーズと同様の広角、超広角、望遠レンズの他にiPad ProのLiDARスキャナが追加されていることが確認できます。
事実であればAppleがAR開発に力を入れ、サービスの展開を本格化させるのはiPhone 12(仮)発売後と考えられます。
ただし、新型コロナウイルスの影響で生産や開発に遅れが出ることは予想されるため2020年秋になるかは不明です。
-参考-
iPhone 12 Pro(仮)、LiDARスキャナを含む3眼カメラ搭載か
https://japanese.engadget.com/jp-2020-04-06-iphone-12-pro-lidar-4.html
ビジビリティおよびオクルージョン カリング
https://docs.unrealengine.com/ja/Engine/Rendering/VisibilityCulling/index.html
ONETECH実績：ベトナムオフショア開発、LiDARスキャナ遠隔測定
iPhone12にも搭載されたLiDARセンサーで遠隔測定、測量UNITYアプリケーションの研究開発
危険が伴う場所での遠隔測定、人員不足のために測定業務を自動化したいという課題でのお問い合わせありました。そこで弊社ではiPad ProやiPhone12より精度の高いIntel RealSense LiDAR Camera L515を利用して遠隔測定アプリケーションを作成する研究開発をしました。
ONETECHではAR/VR/MRのアプリ開発に力を入れています。AR/VR開発を支えるUNITY開発者の育成にも取り組んでおります。またAR・VR用の３Dモデル制作やサーバサイドの開発もワンストップでお受けすることが可能です。ベトナムオフィスには、Oculus、HTC VIVE、Microsoft HoloLens、NReal lightなどのHMDやスマートグラスも取り揃えています。
AR/VR/MRアプリ開発のことならお気軽にご相談ください。
