1. No category

コンピュータビジョンII
2014/10/28
4.反射光と散乱光の計測
Measurement of
Reflection and Scattering
今日のミニレポート
BSSRDFの次元数を下げるためには，どのような近似
をすればよいか
何を仮定すれば，どのパラメータが減らせるか，ひとつずつ
説明せよ
担当教員：向川康博
双方向反射率分布関数
BRDF (Bidirectional Reflection Distribution Function)
反射光の計測
入射光照度（イラディアンス）に対する出射光輝度
（ラディアンス）の比
通常は波長を省略 → R,G,Bの３チャンネルで定義
f BRDF ( x,  i , i ,  r ,  r ) 
N
L
θi θr
φi
実物のBRDFの表現
実物のBRDFをどのように表現するか？
1.
2.
3.
4.
何らかのパラメトリックモデルを仮定し，近い見えとなる
ようにパラメータを調整する
何らかのパラメトリックモデルを仮定し，画像に当てはめ
ることによってパラメータを推定する
BRDFを粗くサンプリングし，足りない角度を線形に，ある
いはパラメトリックモデルで補間する
BRDFを密にサンプリングし，そのまま参照テーブルとし
て用いる

V
Lr ( x,  r ,  r )
Li ( x,  i , i ) cos  i d
Lr ( x,  r ,  r )
E ( x ,  i , i ) d
φr
BRDFサンプリング手法の分類
どのようにしてBRDFをサンプリングするか？
(1) 光源とセンサを機械的に回転
(2) 反射特性が一様な物体を利用
(3) 光源とセンサを半球状に配置
(4) 反射屈折光学系を工夫
N
f BRDF ( x,  i , i ,  r ,  r )
L
θi θr
φi
V
φr
1
(1) 光源とセンサを機械的に回転
BRDF計測の困難さ
膨大なデータ量，非常に長い計測時間
光源（360x90）×センサ（360x90）×3byte=3GB/画素
3GB×横640画素×縦480画素＝900TB
360x90x360x90回=1,049,760,000回=約10億回
30fpsで計測しても約１年
等方性反射を仮定
3パラメータに削減
N
f BRDF ( x,  i , i ,  r ,  r )
L
θi θr
isotropic
f BRDF
( x,  i ,  r ,  )
V
φ
(1) 光源とセンサを機械的に回転
ロボットアームや回転ステージに光源やセンサを取
り付けて機械的に回転する
光源の２軸回転，センサの２軸回転
Light Stage (Debevec et al., SIGGRAPH2000)
光源を密に回転
Reflectance Fieldの計測 (64×32)
皮膚反射モデルとパラメータ推定
Reflectance Field
Reflectance Fieldの再合成による任意照明・任意方向
の顔画像生成
Digital Fashion Ltd.
(2) 反射特性が一様な物体を利用
(2) 反射特性が一様な物体を利用
画像中での様々な法線・視線・光源方向の組合せ
球や円筒を利用(Marschner et al. 1999,2000)
2
MERL BRDF Database
100種類の異なる素材のBRDF
球体を撮影
ウェーブレット変換や主成分分析により，データ圧
縮できることを確認
一般形状のBRDF計測
3Dレンジスキャナを併用 (Marschner et al. 1999)
表面全体で均一なBRDFを仮定
１枚の画像中で観測される，様々な法線・視線・光源方向
の組合せ
人間の顔のBRDF計測の例
Image-Based BRDF Measurement Including Human Skin
(3) 光源とセンサを半球状に配置
多数のデジタルカメラを配置
Canon Powershot A75を151台利用
約半径80cmの半球状に配置
カメラのフラッシュを光源として利用
Gero Müller et al., Rapid Synchronous Acquisition of Geometry and Appearance of Cultural Heritage Artefacts
(4) 反射屈折光学系を工夫
多数のLEDを利用
半球状にLEDを配置
LEDを照明と観測の両方に利用
多波長計測にも拡張可能
M. Ben-Ezra et al., An LED-only BRDF measurement device
3
(4) 反射屈折光学系を工夫
鏡とプロジェクタの組み合わせ
プロジェクタを照明として利用
様々な形状の鏡を利用（球，楕円，放物面，円筒）
Hemispherical half-mirror (Ward 1992)
Ellipsoidal mirror (Mattison et al.1998)
Dome mirror and projector
(Ghosh et al. 2007)
Ellipsoidal mirror and projector
(Mukaigawa et al. 2007)
Paraboloidal mirror (Dana 2001)
Projector and planar mirrors
(Han et al. 2003)
Cylindrical mirror (Kuthirummal et al. 2006)
反射鏡の利用
計測の原理 (Mukaigawa et al. 2007)
投影画像を変えることにより光源方向を制御
一度の撮影で全視線方向のデータを計測
回転楕円体の特徴
𝑥2
𝑎2
𝑦2
y
𝑧2
z
+ 𝑏2 + 𝑏2 = 1
Ellipsoidal mirror
x
２つの焦点を持ち，一方の焦点を出た光線は内
面で反射し，もう一方の焦点に集まる
Beam splitter
その総距離は一定
Projected pattern
Projector
Target material
計測の原理 (Mukaigawa et al. 2007)
Camera
BRDF計測装置 (Rapid Catadioptric Gonioreflectometer)
投影画像を変えることにより光源方向を制御
一度の撮影で全視線方向のデータを計測
 Vertical setup (RCG-1)
 Horizontal setup (RCG-2)
Ellipsoidal mirror
Target material
Beam splitter
Ellipsoidal mirror
Projected pattern
Target
material
Ellipsoidal
mirror
Projector
Camera
Plate mirror
Beam
splitter
Projector
Beam
splitter
Projector
Camera
Target material
Camera
Captured image
4
30
サンプリングしたBRDFの利用
反射特性の計測とCG応用
反射モデルへの当てはめ
実際の反射に適合したモデル選択
反射モデルのパラメータ推定
いかに安定して推定できるか？
そのまま参照テーブルとして利用
硬貨
計測した反射特性
既存モデルで近似できない複雑な反射
極めて高い写実性が求められる場合
密なサンプリングが必要
いかに高速にサンプリングできるか？
Buddaの
幾何形状
Spider-man in Light Stage
Penny dragon
構造色の反射特性
モデル化の難しい構造色
構造色の例
Glossy Penny 2007
多層膜干渉
Old Penny 1975
メキシコ貝の内側
5
単一散乱の解析
光学的な密度の低い媒体を対象
散乱除去，散乱パラメータ推定
散乱光の計測
[Hawkins et al. 2005]
[Narasimhan et al. 2005]
光路が一意に特定できることを利用
薄めた液体
[Narashimhan 2006]
液体は薄めれば単一散乱のみと近似できる
多重散乱の計測
光学的な密度の高い媒体を対象
ダイポールモデルの当てはめ
レーザを利用
[Goeseleら SIGGRAPH2004]
計測
薄めたパラメータで
作成したCG
プロジェクタを利用
[Peersら SIGGRAPH2006]
もとのパラメータで
作成したCG
表面下散乱のサンプリング(1)
i
d
o
i
d
専用装置を利用
[Weirichら SIGGRAPH2006 ]
表面下散乱のサンプリング(2)
光学的に一様な媒体における表面下散乱
I
プロジェクタを利用
[Tariqら VMV2006]
o
光学的に不均一な媒体における表面下散乱
I
o I i
i
散乱は入射位置に
依存せず
xi
xo
o
x'i
I’
x'o
散乱は
入射位置に依存
Marble
Plastic
計測
5次元 BSSRDF: f(i, o, d)
モデル化
• Dipole model
[Jensen et al. SIGGRAPH2001]
• Quantized-diffusion
8次元 BSSRDF: f(xi, i, xo, o)
計測・モデル化・解析のすべてが難しい
膨大な計測時間・データ量はBRDFの比ではない
[Eugene and Geoffrey SIGGRAPH2011]
• 点広がり関数(PSF)での表現
[Munoz et al. EG2011]
[Premoze et al. EGSR2004]
6
８次元BSSRDFの計測と解析
計測に対する解法
実現のための課題
亀甲多面鏡
多面体鏡により仮想カメラとプロジェクターを球面状に配置
解析
計測

次々回の講義で紹介
カメラと照明の最適な配置

高次元データからの情報の
取得
?
?
対象物
8次元のデータ
亀甲多面鏡
BSSRDFサンプリングシステムのスペック
i=(i, i): 48方向
o): 48方向
入射位置 xi=(xi, yi): 400箇所
出射位置 xo=(xo, yo) : 10000箇所
入射光の角度
計測システムの全体像
計測対象物と撮影画像例
エポキシ樹脂
消しゴム
大理石
出射光の角度 o=(o,
光学的に一様
かつ
光学的に薄い
光学的に一様
かつ
光学的に濃い
光学的に不均一
かつ
光学的に薄い
仮想カメラと
仮想プロジェクタの配置
BSSRDFの解像度 f(xi, i, xo, o):
48 x 48 x 400 x 10000 = 9.216 x 109
撮影画像の例(入射光の方向と位置は固定)
計測したBSSRDFの解析
BSSRDFの可視化
4次元スライスf(xo, o)の可視化
解析における課題
各出射位置xoにおける
高次元データからの情報の取得
BSSRDFの4次元スライス f(xo,
o)の可視化による解析
xo
o
出射光の広がりをプロット
提案する解析
xi
観察事項:
対象物体
1. 入射位置の違いに伴う
4次元スライス f(xo, o)の違い
2. 入射方向の違いに伴う
4次元スライス f(xo, o)の違い
出射角度依存性に基づくBSSRDFの分解
+
=
一般的なBSSRDF
出射方向に依存する
成分
x1
x2
光学的均一性の
違い
1
2
光学的な濃さの
違い
出射方向に依存しない
成分
7
出射光の角度依存性に基づくBSSRDFの解析
4次元スライスの比較
BSSRDFが含む様々な散乱光
エポキシ樹脂
出射方向に依存する成分と依存しない成分の両方により
Ｚ
あ
構成される
同じスライス (光学的に均一)
異なるスライス (光学的に薄い)
Ｚ
=
同じスライス (光学的に均一)
同じスライス (光学的に濃い)
消しゴム
+
出射方向に依存する
成分
一般のBSSRDF
出射方向に依存しない
成分
Ｚ
Ｚ
異なるスライス (光学的に不均一)
異なるスライス (光学的に濃い)
大理石
分解結果
BSSRDFの分解
拡散反射と鏡面反射の分解手法を応用
o
両成分
出射方向に
依存する成分
BSSRDF
f(xi, i, xo, o)
出射方向に
依存しない成分
出射方向に
依存する成分
f a  x i , i , x o ,  o 
f i  x i , i , x o 
o
一般のBSSRDF
光学的に薄い
素材に占める
エポキシ樹脂
(光学的に薄い)
f i  xi , i , xo   min f  xi , i , xo , o 
出射方向に
依存する成分
f a  x i , i , x o ,  o   f  x i , i , x o ,  o  - f i  x i , i , x o 
光学的に均一な素材
において対称な形状
光学的に濃い
素材に占める
消しゴム
(光学的に濃い)
出射方向に
依存しない成分
出射方向に
依存しない成分
0
光学的に不均一な素材
において非対称な形状
大理石
(光学的に不均一)
まとめ
計測したBSSRDFと光学的特性
各素材におけるBSSRDFの特徴
光学的均一性
高
入射方向により変化
エポキシ樹脂
出射方向に
依存する成分が占める
反射光の計測
消しゴム
複雑な反射の場合はサンプリングで解決
 計算機の記憶容量の増大化が貢献
 様々な圧縮技術も利用可能
出射方向に
依存しない成分が占める
BSSRDFから
様々な光学特性が得られる
大理石
低
散乱光の計測
大域的に考えなければ
ならないから
計測・モデル化・解析のすべてが難しい
入射方向や位置により変化
低
局所的に決まるから
パラメトリックモデルで近似可能
入射方向や位置により
変化しない
次元数が高いことが理由
現在でも多くの研究者が取り組んでいる問題
出射方向に
依存する成分が占める
光学的濃さ
高
8