SONY

フォトグラメトリで実空間を再現するTips

空間再現ディスプレイ/Spatial Reality Display (以下⽂中ではSRDと表記)を活⽤しているクリエイターのコンテンツ制作Tips 第1弾です。
今回は、フォトグラメトリコンテンツを作成している株式会社ホロラボの⿓さんの記事を紹介します。
SRDでフォトグラメトリを視聴するメリットと、コンテンツを作成する際のコツを紹介します。

フォトグラメトリとは
物体を様々な⾓度から撮影し、その写真をもとに3Dモデルを⽣成する⼿法です。測量、建築、デジタルアーカイブなど様々な⽤途で⽤いられています。


フォトグラメトリをSRDで表⽰するメリット

■物理模型と3DCGの双⽅の利点を活かした表現を提供する

3DCGが普及した現在においても物理模型の需要はなくなることはなく利⽤されています。⽬の前にある対象を⾃由な⾓度から⾒回し、⽴体的な形状を容易に把握できるという利点が⼤きいためと考えられます。⼀⽅で3DCGは物理の物体では不可能な表現ができるという⼤きなメリットがあります。

空間再現ディスプレイではこの2つの利点を同時に叶えることができます。

ただしこの時、3DCGであるメリットを意識してあまりに⾃由に表現したコンテンツにしてしまうと模型的な⾒せ⽅をする事のメリットが損なわれてしまう点には注意しましょう。あえて制限を持たせることも必要です。

魅⼒的に表⽰するコツ

■実在感や臨場感の向上

・ディスプレイ⾯より⼿前に及ぶようにモデルを配置

ディスプレイ⾯よりも⼿前にモデルのジオメトリが存在するように配置する(下図 ⻘⾊部分)ことで、ディスプレイからモデルが⾶び出ているように、物理空間側にモデルがあるかのように感じ実在感が増します。ただし筐体の範囲よりも⼤きく外に外れると焦点があいづらくなったりクロストークが⽬⽴ってしまうので、はみ出させるとしても数センチ以内(下図 ⻩⾊部分)に留めるようにしましょう。

以下は⾞のボンネット部分がディスプレイ⾯より⼿前に⼤きく突出している例です。思わず⼿を伸ばして触れたくなる体験が提供できます。

・3DCG空間の地⾯とディスプレイ下部の位置を⼀致させる

SRDの物理モニターの下部の位置と3DCG空間内の地⾯の位置を⼀致させると、現実空間と3DCG空間の間に空間的な連続性が⽣まれ実在感が上がります。

A : 3DCGの地⾯の位置
B : 筐体のフレーム上⾯の位置

床⾯をCGで⽤意する場合は影を落とすUnlitシェーダーを⽤意すると、設置感や実在感が増して効果的です。

■物理模型では不可能な3DCGならではの⾒せ⽅を盛り込む

物理の模型では不可能な表現の⼀つとして、断⾯を⾒せるという⽅法があります。断⾯位置が固定されたものであれば模型でも制作可能ですが、⾃由な位置で断⾯を切って⾒るという⽅法は3DCGだからこそ表現可能な⽅法です。
体験者の操作に応じて断⾯位置が変えられるような設計とするとよりよい体験が得られます。

・断面モード

・通常モード

・断面モード

・通常モード

・断面モード

・通常モード

上記コンテンツでは、エンターキーを押すごとに「⽔平断⾯」「垂直断⾯」「断⾯なし」が切り替わる実装としました。
また⽮印キーによって断⾯の位置も変更可能にし、「⾒たいところを⾒る」が出来るようにデザインしました。

■モデル全体が⾃動で移動したり演出が変わる表現はしない

映像作品を鑑賞するのとは異なり、⾃分の意志で⾃由な位置から⾒ることが模型的に⾒せる事の⼤きなメリットとなるので、勝⼿にモデルが動きまわってしまい思い通りにモデルを⾒ることができない状態とならないようにしましょう。
モデルの移動や何らかの効果を演出したい場合は、コントローラーやキーボードからのインタラクションに応じる形にするとストレスなく体験可能です。
モデルを⾃動でアニメーションさせたい場合は、その動きを⼀定のものとさせると良いでしょう。
ターンテーブルに乗っている物のように⼀定速での⾃動で回転するモデルの場合は体験の質を落とすことなく閲覧しやすいものとなります。

よりきれいに表⽰するためのコツ

フォトグラメトリは⽴体で楽しいコンテンツですが、やはり「合成と撮影の結果次第では」まだメッシュの暴れがでてノイズのように⾒えてしまうことがあります。これをいかに⽬⽴たなくするかが「コンテンツの質」を上げるコツです

■マテリアルはUnlitタイプにしよう

利⽤するフォトグラメトリのモデルがどの程度クリーンアップされているかにもよりますが、⼿軽に綺麗に表⽰させたい場合はマテリアルは光の影響を受けないUnlitタイプのものにすると、メッシュの暴れが⽬⽴たず、⾊味も写真撮影時の通りになった整った表現となりSRDで⾒た時もより実物がそこにあるかのような体験が出来ます。

※Unlitシェーダーとは:ライティングの影響を受けるものがlitシェーダーですが、その影響を受けないものがUnlitシェーダーです。ラフネスやメタリックの値を持たずベースカラーの⾊味のみをそのまま表現するシェーダーです。

・メッシュの凹凸の様⼦の違い

・Unlitシェーダーの場合

Unlitにすると余計な凹凸が⽬⽴たなくなる。

・スタンダードシェーダーの場合

ローポリ化した際のポリゴンの凹凸の様⼦が⽬⽴っている。

・色味の違い

・Unlitシェーダーの場合

Unlitにすると写真の⾊味のままの表現にできる。

・スタンダードシェーダーの場合

実際の現地とは違った⾊味となり忠実な再現をするのには部屋ごとにライティングを詰める必要があり調整に時間がかかり、再現にも限界がある。

・描画負荷も軽減できる

Unlitにする事で照明効果の計算がなくなるので描画負荷も軽減されます。

■ポリゴン数やテクスチャ数の最適化

フォトグラメトリはその特性上全ての座標全ての⾊を忠実に再現しようとジオメトリとテクスチャが⽣成されるため、細部の形状まで再現する設定にした場合はポリゴン数が多くなり、テクスチャの鮮明度を重視した設定にした場合はテクスチャのサイズや枚数も多くなります。このため品質を重視するとデータ容量や描画負荷が増加する傾向があります。
しかし模型のように表⽰する場合は、VRで実⼨⼤で表⽰するのとは異なりモデル⾃体は⼩さく表⽰されることとなるので、オリジナルのデータそのままではなくポリゴン数やテクスチャ枚数を削減しても体験の質が⼤きく下がる事はありません。むしろ品質を重視したがためにfpsが下がってしまうことによる体験の質の低下の⽅がデメリットとしては⼤きいので、表⽰させるモデルの⼤きさに応じてポリゴン数やテクスチャ枚数を削減させ、過品質とならないように注意しましょう。

さらに存在感をアップさせるコツ -現実空間と仮想空間の融合-

■展⽰空間⾃体をスキャンし背景として設定する

特殊な⽅法となりますが、より現実空間との連続性を持たせる⽅法として、SRDを展⽰する空間⾃体をフォトグラメトリしておきそのフォトグラメトリモデルをCG空間の背景として設定するという⽅法があります。
擬似的なARとも⾔える表現⽅法になります。ディスプレイの背⾯にあるはずの筐体も⾒えなくなるので、筐体の存在感を下げたい場合にも有効な⽅法です。

株式会社ホロラボではフォトグラメトリコンテンツの制作依頼を受け付けています。
撮影からアプリケーション制作までワンストップで請け負います。

空間情報技術部 SIAR    https://hololab.co.jp/siar/

ご興味のある⽅は以下連絡先にお問い合わせください。

株式会社ホロラボ     https://hololab.co.jp/#contact
クリエイター:⿓ lilea   https://twitter.com/lilealab