「iPhoneやiPadでAR機能を使うためのフレームワークについて興味がある」
「ARKit3の新しい機能や改善点を知り、実現可能なアプリを見てみたい」
iOSを搭載したiPhoneやiPadで拡張現実を体験するための機能がARKitです。iOS11からARKitを利用できるようになり、2019年6月にはアップルからARKit3が発表されています。
ARkit3って何？2からの改善点や実現可能なアプリを紹介
どのような機能であるのか、ARKit3の新機能や実現可能なアプリについて詳しく見ていきましょう。
ARkitとは
アップルがiOS端末でAR機能を実現するために、開発者向けに提供しているのがARKitです。ARkitによって専用機器を使わなくても、iPhoneやiPadのカメラで手軽にARアプリを利用できます。
バージョンアップに伴って機能は改善されていき、WWDC2019ではARKit3の機能やツールが公開されました。物体を置いたイメージを実現するだけでなく、現実世界にCGを重ねられるのが特徴。
例えばARKitを活用したアプリを利用して、部屋の中に家具を置いてみることは可能です。実際の家具と同じように置けることで、サイズ感やデザインを画面越しにチェックできます。
こちらは２年前にARkitが登場した際に作ったデモです。その後HoloLensにも置き換えています。
アップルによりAR機能が改善されていくことで、生活面やエンタメ分野において便利なアプリが普及していく見込みです。
ARkit3とは
2019年秋に、ARKit3がリリース予定です。
ARKit3では、これまで人がAR空間に正しく介在できないという問題点を解決する機能が搭載されています。
カメラで人間の存在を認識し、「ARで表示させている物体」と「人間」との前後関係を反映できます。
それにより、AR表示されている物体の後ろに人間が隠れる、などの挙動が可能となります。
新しく追加された機能
ARKit3から追加された新機能の1つとして、ピープルオクルージョン(People Occlusion)があります。端末側で人を認識することで、人がARコンテンツの前後を横切ることで、そこにARコンテンツが本当に実在しているような表現ができるようになります。
また、リアカメラとフロントカメラを同時に使用してARコンテンツを表示させることも可能です。前後カメラの同時使用により、ARコンテンツを自分の表情で動かせるようになります。
TrueDepthカメラを搭載した端末であれば、最大3人までの顔を同時に認識できるのもポイント。フロントカメラを活用しやすくなり、自撮りなどに便利なARアプリを実現できます。
ARkit2から進化したポイント
ARKit2から3にバージョンアップしたことで、モーションキャプチャーをARアプリで活用できます。カメラがユーザーの骨格や関節を認識して、アプリに人の動きを反映させられるのが特徴。
モーションキャプチャーによってARコンテンツを動いて楽しめるようになりました。例えばゲーム内のキャラクターと同期して、ユーザーが動いてプレイすることが可能です。
また、アプリでキャラクターを設定しておき、VTuberをARアプリで具体化することもできます。バージョンが上がることにより、ARアプリでできる機能が増えたのはメリットですね。
ARkit3で実現可能なアプリとは
ARKit3を発表したWWDC2019では、AR機能を活用したさまざまなアプリを発表していました。ARに興味がある人が知っておくべきアプリは次の2つです。
- Minecraft Earth
- AR Swift Strike
それぞれのアプリについて簡単に見ていきましょう。
Minecraft Earth
Minecraft EarthはARKit3を活用例として紹介されたAR版のマインクラフトです。ユーザーがマインクラフトの世界に入り込めて、アイテムを収集したりクエストで遊んだりできるのが特徴。
Minecraft Earth: 公式公開予告 | 日本マイクロソフト
Minecraft EarthはARKit3を活用例として紹介されたAR版
AR Swift Strike
AR Swift Strikeは真ん中に出現したボールを押して、相手のピンを倒すゲームです。ARKit3の機能により、ARコンテンツとユーザーの位置が不自然にならないよう工夫されています。AR Kit 3 demo with Swift Strike at Apple’s WWDC
AR Swift StrikeはARKit3の機能により
ARkit4とは
アップルが「ARKit4」をリリース、ARオブジェクト固定や顔トラッキング強化へ。アップルは開発者会議WWDC2020にて、iOSとiPadOSにおけるAR機能の新バージョン「ARKit4」を発表しました。周囲の環境をより正確に認識し、現実とシームレスに重なるARや、特定のスポットに紐付けされたオブジェクトを実現します。「ARKit4」は「ARKit3.5」同様、新型iPad Proの「LiDARスキャナ」に対応します。
「ARKit4」の特長
- デプスAPI
LiDARスキャナのシーン認識機能により、周囲の情報をピクセル単位で収集します。これを3Dメッシュデータと統合。実際の物との重なりを正確に表すなど、より現実に馴染むバーチャルオブジェクトを生成できます。LiDARスキャナを搭載する新型iPad Proの11インチ、12.9インチモデルが対象です。 - ロケーション・アンカー
「Location Anchors（ロケーション・アンカー）」は、有名なスポットといった現実の世界にARオブジェクトを置く機能です。緯度経度、高度を指定した場所にARを紐付けできるため、ユーザーはこのオブジェクトに周囲を歩いたり、好きな角度から見ることが可能です。 iPhone XS、iPhone XS Max、iPhone XR以降のモデルが対象、一部の都市のみでの展開です。 - フェイス・トラッキング機能の拡張
A12以降のチップを搭載する全てのモデル（新型iPhone SEを含む）で、フロントカメラを使ったフェイス・トラッキングが実現します。最大3人までのユーザーの顔を追跡し、スナップチャットのような顔へのARエフェクトの精度を上げます。
ARkit5とRealityKit 2とは
WWDC21でAppleは、ARKitとRealityKitのフレームワークの新しいメジャーバージョンを発表した。これはiOS用に拡張現実ベースのアプリを作成するためのものである。最も重要なことは、RealityKit 2を使うと、開発者は写真のコレクションから3Dモデルを簡単に作成できようになり、また、ARKit 5は顔の追跡と位置アンカーのサポートを拡張している。
新機能:
- ロケーションアンカーの追加リージョン
- アップグレードされた顔追跡機能
- モーショントラッキングの改善
成熟しているため、ARKit 5はRealityKitほど新しい機能が豊富ではない。実際、ARKit 5は、顔追跡のサポートを含む既存の機能を拡張しており、ロケーションアンカーをサポートする。
顔の追跡は、A12 Bionicチップ以降を搭載した任意のデバイスの前面カメラを使うと利用でき、一度に最大3つの顔を検出できる。
一方、ロケーションアンカーを使うと、ARシーンを都市や有名なランドマークなどの物理的な場所にアンカーすることができる。これにより、ユーザが通りや記念碑などに近づいたときに仮想標識を表示することができる。
ONETECHの開発実績（展示会場でのiPad顔認識ARカメラアプリ_APIサーバー開発）
iOSのFace Traking with ARkitの機能を使いスマホアプリのカメラで人の顔を認識します。True Depthカメラを利用しています。
実際の顔に自動的に3Dアニメーションを被せてAR（オーグメンテッドリアリティ：拡張現実）表示させることができるアプリです。
開発内容としてはサーバーの環境構築を実行しました。
アプリから画像を取得しURL発行までのサーバー側のAPIを開発しました。その他にもARkit開発は多数実績がございますのでお気軽にお問い合わせください。
寿司協会様からの依頼で寿司職人向けのトレーニング補助アプリをスマートグラス「マイクロソフト ホロレンズ２」で作成しました。CGコンテンツは３DsMAXで製作し、ホロレンズARアプリはUNITYで制作しました。今回は要望を聞き取り企画から提案しアプリ制作まで実施しました。
ある工場で産業用ロボットの操作を実行する前のトレーニングで使用します。VRのトレーニングを通じて技術的な把握を深めリスクを軽減します。UNITYでVRアプリを開発しました。VRコントロールアプリはOculus Questデバイスで実行されるソフトウェアアプリケーションです。
好きなキャラクターや3DアバターがARで出現して、一緒に撮影できるARアプリを開発しました。 ARで表示したアバターは、小さくしたり大きくしたり自由に変形することできます。 アバターごとに個別のモーションを実装し、好きなキャラクターで様々なシチュエーションで撮影することができます。 自動で月額課金するアプリ内課金のサブスクリプションも実装しました。
まとめ
iPhoneやiPadでARアプリを便利に使うためのフレームワークがARKit3です。ピープルオクルージョンや、前後カメラの同時使用、モーションキャプチャーなどの新機能により、従来よりも便利なARアプリを開発できます。一方でApple は現在はフラットな画面、iPhone、Padなどを使いARを表現しているが、ここにHoloLens、nReal、Magic Leap、などのARグラスでハンズフリーでの表現ができればますますポータブルAR市場は盛り上げるでしょう。
ONETECHは、2015年創業当初からベトナムオフショアでAR開発に力を入れています。現在ベトナムでのAR開発分野において最も開発実績のある企業の一つとなっています。
新型ARゴーグル「マイクロソフトホロレンズ2」の紹介と軍事利用に関して
ARは現実世界にCGなどをスマートグラス越しに重複表示させることで現実を拡張させる技術です。ARも数年前から存在する技術ですが２０１６年のPokémon GOによって広く知られるようになりました。弊社も２０１６年からARと位置情報に連動したゲームアプリの制作いたしました。
今後はARだけでなくMR（Mixed Reality: 複合現実）として、(自動車産業をはじめとしたさまざまな産業への活用や、コンタクトレンズ、網膜投影といった新技術、HoloLensなどのデバイスの進化によりさらに市場が発展していきます。
AppleやGoogleから登場したARフレームワーク[ARKit], [ARCore]などで、実現が難しかった3D空間を認識するARアプリ開発が容易になりました。 ONETECHでもARフレームワークを利用して様々なAR開発しています。
ベトナムオフショアでのARkitソフトウェアの開発のご相談はぜひOne Technology Japanへお気軽にお問い合わせください。
