iPhone X以降に搭載されたトゥルーデプスカメラをご存知でしょうか。
ARだけでなくエンタメや手の不自由な人の利用まで幅広く活用される可能性がある技術です。
トゥルーデプスカメラとは何か、また、トゥルーデプスカメラでONETECHが取り組んでいるAR（Augmented Reality: 拡張現実）に応用していることを紹介します。
iPhone X以降に搭載されているトゥルーデプス（TrueDepth）カメラとは (Source: Apple)
iPhoneのトゥルーデプスカメラ（TrueDepth）とは
TrueDepthカメラはiPhone X以降でFace IDという顔認証でロックを解除する仕組みに利用されているシステムです。
iPhoneのハードウェアとして「トゥルーデプスカメラ」という装置があるわけではありません。
トゥルーデプスカメラは複数のセンサモジュールと最新のプロセッサ処理によって実現される3Dセンシングシステムです。
トゥルーデプスとは直訳すると「本当の深さ」です。
その名の通りトゥルーデプスカメラには顔とカメラの距離を正確に計測する近接センサや顔の形状を計測するためのドットプロジェクタなどがあります。
iPhoneのトゥルーデプス（TrueDepth）カメラとは (Source: Apple)
TrueDepthカメラでできること
人間の形状をデータとして取得するためには高額なモーションキャプチャを導入し、データを採取する設備を準備する必要がありました。
しかし、トゥルーデプスカメラはモーションキャプチャとしての役割を果たしてしまいます。
TrueDepthカメラでできること
また、トゥルーデプスカメラでは細かな顔の表情の移り変わりも3 万以上ドットを顔の上に投射して解析し、顔の深度マップを作成してトラッキングすることができます。Face IDはiPhone や iPad Pro で顔認証をする仕組みですが、実現しているのはこのTrueDepth カメラシステムのおかげです。ちなみにFace IDは、顔の赤外線イメージも取り込みます。A11、A12 Bionic、A12X Bionic、A13 Bionic チップのニューラルエンジンの一部 (Secure Enclave の中で保護されています) が、深度マップと赤外線イメージを数学的モデルに変換し、そのモデルを登録済みの顔のデータと照合します。TrueDepth カメラと機械学習の機能を用いて、安全な認証ソリューションを確立しています。
そのトラッキング機能をVTuber（バーチャルユーチューバー）のアバター制作に活用されています。
iPhone専用のアバター制作＆配信キットも発売されており、高価なモーションキャプチャ購入することなく、滑らかな動きを表現することもできます。
また、iPhone Xの標準機能である「アニ文字」や「ミー文字」でもTrueDepthカメラは活用されています。
iPhone Xの機能である「アニ文字」や「ミー文字」
「アニ文字」や「ミー文字」は画面に表示されているキャラクターに向かって自分の顔の変えるとキャラクターの表情も変わる機能で、そのキャラクターをスタンプとしてメッセージのやりとりに使用することができます。
トゥルーデプスカメラのARへの応用
トゥルーデプスカメラシステムにはいくつかの関数が用意されています。
右目、左目の開き具合や口の開き具合などが計測できます。
その関数を使うことで目を閉じたときに顔の周りに星を出すことも可能です。
また、顔の形状からiPhoneのどこを見ているのかを測定することができるため、アイトラッカーとして活用することもできます。
アイトラッカーとして使用すれば、目線だけで画面のスクロールや凝視でのクリックをすることも可能です。
現状、セキュリティ上の理由からかAppleから公開されている関数は限られており、顔の形状からARアバターを作成したり、顔の動きをトリガーにした表現ができることまでに止まっています。
今後、セキュリティの向上に伴い公開される関数が増えればARやMRへのさらなる応用も期待できそうです。
ONETECHの開発実績（展示会場でのiPad顔認識ARカメラアプリ_APIサーバー開発）
iOSのFace Traking with ARkitの機能を使いスマホアプリのカメラで人の顔を認識します。True Depthカメラを利用しています。
実際の顔に自動的に3Dアニメーションを被せてAR（オーグメンテッドリアリティ：拡張現実）表示させることができるアプリです。
開発内容としてはサーバーの環境構築を実行しました。
アプリから画像を取得しURL発行までのサーバー側のAPIを開発しました。
まとめ
iPhone X以降で導入されたTrueDepthカメラシステムは様々なセンサとプロセッサにより正確な顔の3D情報を取得します。
すでに3Dモデルの作成などに活用されていますが、一般に公開されていない情報もあることからこれからさらに多くの分野での活用が期待されます。
顔の動きだけでiPhoneを制御する日が来るかもしれません。
-参考-
- https://note.com/sonicjam/n/nea4cc535efa7
- https://time-space.kddi.com/ict-keywords/20180912/2436
- https://appllio.com/how-to-use-iphone-animoji-memoji
- https://support.apple.com/ja-jp/HT208108
ONETECH は、ベトナムオフショア開発でiPhoneアプリ開発、Andoridアプリ開発、AR/VR関連の開発実績があります。スマホアプリ開発、AR、VR、XR開発、Unity開発、3DCG制作でお困りのことがあればお気軽にお問い合わせください。
