新たな手法で3Dシーンを再現する技術「3D Gaussian Splatting」とは？

Nguyen Duong 22/08/2024

2023年8月に発表された技術「3D Gaussian Splatting」は、従来のフォトグラメトリやNeRF（Neural Radiance Fields）とは異なる手法で3Dシーンを再現する技術です。

この記事では「3D Gaussian Splatting」の特徴や利点・課題、また従来で使われたていたフォトグラメトリやNeRF（Neural Radiance Fields）技術との違いについてまとめています。ぜひ参考にしてください。

目次 hide

1 3D Gaussian Splattingとは？

1.1 従来の技術①フォトグラメトリとは？

1.2 従来の技術②NeRF（Neural Radiance Fields）とは？

2 3D Gaussian Splattingの利点

2.1 3Dガウス分布でシーンを表現

2.2 最適化と密度制御

2.3 高速レンダリング

3 3D Gaussian Splattingの課題

3.1 既存のレンダリングパイプラインとの互換性がない

3.2 容量が大きなディスクスペースが必要

4 〇【比較表】3Dシーン生成技術

5 まとめ

3D Gaussian Splattingとは？

3D Gaussian Splattingは、2023年8月に発表されたNeRF（Neural Radiance Fields）に続く注目のコンピュータビジョン技術で、さまざまな3D画像処理アプリケーションで使用されています。

簡単に言うと、複数の写真から3Dシーンを再現できる新たに誕生した技術です。

従来の3Dシーンを構成する方法には、おもに次の2つがありました。

・フォトグラメトリ技術

・NeRF（Neural Radiance Fields）

2023年8月に登場した「3D Gaussian Splatting」は、上記で述べた2つの方法とは異なるアプローチで3Dシーンを生成します。

下記YouTube動画を参考にしてください。

▼Youtube　3D Gaussian Splatting + Insta360 RS 1″ – Impasse Saint-Eustache, Paris

従来の技術①フォトグラメトリとは？

フォトグラメトリは、写真から物体やシーンの3D形状を再現する技術です。このプロセスでは、複数の角度からの写真を使用して、物体の詳細な3Dモデルを生成します。

主にフォトグラメトリは写真を使った測量を指し、建築、工学、地質学、製造などで利用されることが多い測量法です。

通常110枚程度の写真を用意すると、3Dデータを作成することが可能になります。つまりスマートフォンやデジタルカメラを使って撮影した写真で3D測距ができるようになりました。

▼参考記事　iPhoneで手軽に3Dデータをスキャンする方法とは？【フォトグラメトリ、LiDAR】

https://onetech.jp/blog/scan-3d-data-with-iphone-photogrammetry-lidar-16532

▼参考記事　フォトグラメトリをやってみた

https://onetech.jp/blog/shares-an-interesting-technique-called-photometry-17557

従来の技術②NeRF（Neural Radiance Fields）とは？

NeRF（Neural Radiance Fields）は、カルフォルニア大学の研究員が2020年3月に発表した技術で、ニューラルネットワークを使用して、複数の写真から3Dシーンを生成する技術です。

さまざまな角度から撮影した複数の写真から、その空間の三次元形状を復元し、3Dシーンを生成することができます。

NeRF（Neural Radiance Fields）の特徴としてフォトグラメトリより3Dシーンの生成スピードが速いという特徴があります。

▼Youtube　NVIDIA Instant NeRF: NVIDIA Research Turns 2D Photos Into 3D Scenes in the Blink of an AI

またフォトグラメトリとの大きな違いとして、NeRF（Neural Radiance Fields）は透明や反射、屈折を再現することが可能です。

▼Youtube　NVIDIA recently introduced the Instant NeRF neural network,

3D Gaussian Splattingの利点

「3D Gaussian Splatting」の大きな利点は次の3点です。

・3Dガウス分布でシーンを表現（既存のレンダリングパイプラインとの互換性がない）

・最適化と密度制御

・高速レンダリング

それぞれ解説します。

3Dガウス分布でシーンを表現

カメラで撮影した点データからスタートし、3Dガウス分布を使用して3Dシーンを表現します。

これによりデータの偏りによって生じる実際の空間には存在しないモヤ（ゴースト）が生成される問題（ゴースト現象）も効果的に抑制できます。

最適化と密度制御

ガウス分布を調整してシーンを正確に再現し、計算量を削減します。

そのため「3D Gaussian Splatting」ではスマートフォンのローカル処理で3Dモデルの生成が可能になりました。

高速レンダリング

「3D Gaussian Splatting」はリアルタイムでのシーン描画を可能にする新技術を導入しています。

従来のNeRF（Neural Radiance Fields）だとレンダリング時間が長いという課題がありましたが、「3D Gaussian Splatting」だとレンダリングを行う際にかかる重い処理を不要とし高速なレンダリングが実現しました。

3D Gaussian Splattingの課題

「3D Gaussian Splatting」の大きな課題は次の2点です。

・既存のレンダリングパイプラインとの互換性がない

・容量が大きなディスクスペースが必要

それぞれ解説します。

既存のレンダリングパイプラインとの互換性がない

「3D Gaussian Splatting」は、既存のレンダリングパイプラインと互換性がありません。

これは「3D Gaussian Splatting」を既存のゲームやアプリケーションに統合する際に大きな障壁となります。

現在ではUnityやUnrealEngineは各種プラットフォームに取り込めるようなプラグインや手法が構築されつつあり、徐々に改善されていくでしょう。

容量が大きなディスクスペースが必要

「3D Gaussian Splatting」は、1GB以上の大きなディスクスペースを必要とするシーンも生成します。

1GB以上だとスマートフォンでは扱いづらい容量になるのでご注意ください。

〇【比較表】3Dシーン生成技術

	3D Gaussian Splatting	フォトグラメトリ	NeRF（Neural Radiance Fields）
特徴	・3Dガウス分布によるモデル生成が可能。	・さまざまな方向から撮影した対象物の写真データを元に、信頼性のある寸法を解析して3Dモデルを形成。	・さまざまな角度から撮影した複数の写真から、自由視点画像を生成する技術。・深層学習を使用し自由視点での画像生成が可能。
利点	・レンダリングが高速。・ゴースト現象の抑制。・計算量が減少。	・手軽に3Dモデルの生成が可能。	・空や雲などの透明や反射、屈折の再現が可能。
課題	・既存のレンダリングパイプラインとの互換性がないため、既存アプリケーションに統合する際に大きな障害になる。・ディスクスペースの容量が大きい場合、スマホだと扱いにくい。	・空などの輪郭のないものや、遠くのもののディティール、反射や透明なものなどを制作に再現できない。	・複雑なジオメトリや動的なシーンの再現精度が難しい場合がある。・編集操作がしにくい。・生成された容量が大きい。

まとめ　

いかがでしたか？この記事は2023年8月に発表された技術「3D Gaussian Splatting」という3Dシーンを再現する技術についてまとめました。

「3D Gaussian Splatting」は3Dガウス分布を使うことによって、従来の方法の課題点をクリアしているのが特徴です。

しかし生成された容量が大きい点や既存のレンダリングパイプラインとの互換性がないため、既存アプリケーションに統合する際に大きな障害になる点は注意が必要です。

3D Gaussian Splatting、フォトグラメトリ、NeRF（Neural Radiance Fields）はそれぞれ特徴や利点、課題が異なります。場合によって使い分けることをおすすめします。

もし3Dシーンの生成でお困りのことがありましたら、ONETECHにご相談ください。

下記URLにONETECHでの3Dシーン生成事例「iPhoneのLidarを使用し、保守点検業務で必要な空間の点群データ作成」をあげました。またONETECHでは多くのXRコンテンツや3Dデータの制作実績があります。下記にONETECHにおけるXR開発や3Dデータの制作実績などをまとめました。参考にしてください。

XR(AR/VR/MR)