1. No category

画像処理論
第10回
佐藤 洋一
生産技術研究所
情報理工学系研究科電子情報学専攻／情報学環
http://www.hci.iis.u-tokyo.ac.jp/~ysato/
前回講義の内容

画像復元

劣化プロセスと復元プロセス

ノイズ低減のためのフィルタ

劣化関数の推定に基づいた画像復元
劣化プロセスと復元プロセス

劣化関数がlinear & position-invariantとすると
実空間領域 : g ( x, y ) = h( x, y ) * f ( x, y ) + η ( x, y )
周波数領域 : G (u , v) = H (u , v) F (u, v) + N (u , v)
Bandreject filterによる画像復元
Optimal Notch Filtering
1.
2.
−1
ノイズ信号を抽出 η ( x, y ) = ℑ {R(u, v)G (u, v)}
ノイズ成分を除去 fˆ ( x, y ) = g ( x, y ) − w( x, y )η ( x, y )

重みw(x,y)を調整
spikeを抽出
Optimal Notch Filterによるノイズ除去
劣化関数の推定に基づいた画像復元

劣化関数を取り扱うにはどうすればよいか？
実空間領域 : g ( x, y ) = h( x, y ) * f ( x, y ) + η ( x, y )
周波数領域 : G (u, v) = H (u, v) F (u, v) + N (u, v)

劣化関数の推定を伴う画像復元はblind deconvolutionと
呼ばれる

Estimation of H(u,v) by

Experimentation

Mathematical modeling
Estimation by Experimentation

劣化画像を撮影した撮影システムに関して、事前に劣化プロ
セスを観察


インパルス応答を直接計測
G (u , v)
H (u , v) =
A
劣化画像のみを与えられた場合には不可能
Estimation by Mathematical
Modeling

手振れによる劣化の例：
H (u, v) =
x0 (t ) =
bt
at
, y0 (t ) = の場合
T
T
T
sin[π (ua + vb)]exp(− jπ (ua + vb))
π (ua + vb)
劣化関数を用いた画像復元

推定された劣化関数を用いて画像を復元
G (u , v)
N (u , v)
ˆ
F (u , v) =
= F (u , v) +
H (u , v)
H (u , v)

H(u,v)が0に近くなる場合、解が不安定

高周波成分を除外して処理
G (u , v)
Fˆ (u , v) =
H (u , v)
劣化画像
Wiener Filter

元画像と復元画像との最小2乗誤差基準から導出
2

 1
(
,
)
u
v
H
ˆ
F (u , v) = 
G (u , v)
2
2
2
 H (u , v) H (u , v) + N (u , v) / F (u , v) 

ノイズ信号と元画像のパワースペクトラムが既知なことは稀
であるため、定数Kで代用することも多い
2
 1

H
u
v
(
,
)
ˆ
F (u , v) = 
G (u , v)
2
 H (u , v) H (u , v) + K 
Wiener Filterによる画像復元
Motion blurによる劣化画像の場合
H (u, v) =
劣化画像
inverse filtering
Wiener filtering
T
sin[π (ua + vb)]exp(− jπ (ua + vb))
π (ua + vb)
本日の講義の内容

テクスチャ

テクスチャとは？

テクスチャの表現方法

テクスチャモデル獲得のための線形フィルタ

テクスチャの合成

テクスチャによる形状推定
テクスチャ
テクスチャとは？

画像中に観察される“模様”のパターン

小さな物体が大量に集まったもの


葉→木、草→藪、小石→地面、毛→毛皮、など
単体で“小さな物体が大量に集まったように見える”もの

トラ、シマウマなどの模様、木目や人の肌、など
単体のテクスチャの例

表面形状（面法線方向など）の変動によるもの

表面反射特性の変動によるもの
テクスチャとスケール

テクスチャは観察されるスケールに依存
テクスチャとスケール
A bar in the big images
is a hair on the zebra’s
nose; in smaller images,
a stripe; in the smallest,
the animal’s nose
テクスチャ解析の応用分野

テクスチャ分割(texture segmentation)


テクスチャ合成(texture synthesis)


テクスチャによる領域分割
小さいテクスチャサンプルから大きなテクスチャ領域の合成
テクスチャによる形状推定(shape from texture)

テクスチャを手掛かりにして物体表面の形状を推定
テクスチャの表現


基本的考え方

基本となる要素がある程度規則的に分布

このような要素をテクストン(texton)と呼ぶ
テクスチャ表現のアプローチ

基本要素テクストンを定義

テクストンの分布を求める
テクスチャ表現の問題


テクストンを如何にして決定するかが問題

“普遍的なテクストンセット”？ テクスチャのアルファベット？

テクストンが決められないと、その分布も求められない
アプローチ

単純な図形要素（特に、点と棒）をテクストンとして利用

線形フィルタの組(filter banks)により分布を計算可能
線形フィルタを用いたテクストン分布の計算

線形フィルタの利用

基本テクストン（点と棒）をさまざまなスケールで求める



どのような線形フィルタを使うべきか？

さまざまな線形フィルタを経験的に利用

動物の大脳視覚野に模倣したフィルタ
点フィルタ


例） ある大きさの棒に対応する線形フィルタの適用
スケール
棒フィルタ

方向、スケール、フェーズ
フェーズの違い
フィルタ出力の例

入力画像に各フィルタを適用した結果の例
異なるスケールのフィルタ出力の例

スケールの違いにより出力結果も変化
スケール大
スケール小
ガウシアン加重平均フィルタ

ガウシアンフィルタの加重平均により点フィルタと棒フィルタを
構成 [Malik&Perona 90]

点フィルタ：３つの等方性ガウシアンの加重平均

棒フィルタ：３つの非等方性ガウシアンの加重平均
Malik and Perona, “Preattentive texture discrimination with early vision mechanisms”, JOSA, 1990.
Gabor Filters

脳内視覚処理で観察されるフィルタ
x′ 2 + γ 2 y ′ 2
x′
} cos(2π + φ )
g ( x, y ) = exp{−
2
2σ
λ
x′ = x cos θ + y sin θ
y′ = − x sin θ + y cos θ
大阪大学 大学院生命機能研究科 大澤五住教授
幾つのフィルタが必要か？


方向に関して、幾つのフィルタが必要か？

最適な数は不明。アプリケーションに依存

経験的に6方向以上のフィルタがあれば十分
テクストンの複雑さについて

点と棒以外のテクストンに対するフィルタの利用
メリットよりもデメリット（計算コスト増加、冗長な情報）が大きい傾向
フィルタ出力にもとづくテクスチャの表現

フィルタ出力からテクストンの分布を求める


テクストンの分布としてのテクスチャ表現
「フィルタの大きさ」と「近傍領域の大きさ」に依存
あるスケールの縦横2方向の棒の
分布に基づく単純な分類の例
どのような統計量を用いるか？

テクスチャを表現するために、テクストンの分布をどう記述？


テクストンの選択と同様に、アプリケーションに依存
例）近傍領域における各フィルタの出力の平均と分散
I ( x, y ) ∗ ( F1 ,  , Fn ) → f1 ( x, y ), , f n ( x, y )
( µ 0 , µ1 ,  , µ n ) ( µ 0 , σ 0 , , µ n , σ n )
テクスチャ表現のための特徴ベクトル

異なるフィルタ出力間の相関の考慮も有効
など
統計量によるテクスチャ表現の例

学習データからテクスチャのモデル（各フィルタの平均と分
散）を獲得

f tex = ( µ 0 , σ 0 ,  , µ n , σ n )

同様の特徴をもつ画像を検索
近傍領域の大きさ

どの大きさの近傍領域を考慮すればよいか？

分布の変化量


小さな領域から徐々に領域を拡大

テクストン分布の変化が小さくなるところを探す
Polarityにもとづく判断

領域内における主勾配方向と各勾配ベクトルの内積

正の内積値と負の内積値の加重平均の差に変化が
なくまるまでスケールを拡大
画像ピラミッドによるテクストン解析

スケールを変えながら線形フィルタを適用した結果の組

ガウシアンピラミッド

ガウシアンフィルタによる平滑化+サブサンプリング
ガウシアンピラミッドの例
ラプラシアンピラミッド

ガウシアンピラミッドのレベル間の差による表現

最上位のガウシアン画像（最も解像度の低い画像）

各レベル間のガウシアン画像の差（ラプラシアン画像）
Laplacian Pyramidの例
各レベルで強い出力が得られている周波数が異なる
Laplacian Pyramidの生成
PLaplacian ( I ) m = PGaussian ( I ) m
最も高いレベル（解像度の低い）の画像
PLaplacian ( I ) k = PGaussian ( I ) k − S ↑ ( PGaussian ( I ) k +1 )
= ( I d − S ↑ S ↓ Gσ ) PGaussian ( I ) k
S ↑ : アップサンプリング操作
S ↓ : ダウンサンプリング操作
Gσ : ガウシアン平滑オペレータ
バンドパスフィルタとしての振る舞い

Gaussian Pyramidにおける各画像はあるレベルの平滑化
の結果→ローパスフィルタ

Laplacian Pyramidの各画像は２つのローパスフィルタの
出力画像の差分→バンドパスフィルタ
ラプラシアンピラミッドからの画像の再構成

低解像度画像をアップサンプリングした画像＋残差成分（ラ
プラシアン画像）として再構成
新たに再構成された
1レベル解像度の高い画像
Laplacian Pyramidで保存された画像
Oriented Pyramid

バンドパス特性に方向選択性を加えたもの

Laplacian Pyramidの各出力を方向成分で分解
Oriented Pyramidの例
テクスチャの合成

サンプルテクスチャ画像から大きい画像を合成


CGにおけるテクスチャマッピングなどへの利用
如何にしてテクスチャを合成するか？

テクスチャ画像の貼りあわせ？→ ×タイルのような結果
テクスチャ合成のアプローチ


基本的な考え方

サンプル画像からテクスチャに関するモデル（e.g., テクスチャに関す
る統計量、テクストンの分布など）を獲得し、そのモデルにもとづきテ
クスチャ画像を合成する

仮定

テクスチャのモデルは画像中の位置に依存しない

テクスチャのモデルはその近傍によってのみ決定される
モデルに応じて色々な手法が提案されている
Efros-Leungの方法

基本的な考え方

新たに求めたい画素の周辺領域が類似した領域群をサンプル画像
中で求め、その領域群からランダムに選んだ領域の中心の画素値を
用いる

合成画像における周辺領域で画素値がないものは除外
近似領域の検索
中心画素値の選択
合成画像
サンプル画像
Non-parametric Texture
Synthesis
合成されたテクスチャの例
サンプル画像
合成画像
周辺領域の大きさの影響

どの範囲の近傍まで考慮するかによりテクスチャ合成の振る
舞いが変わる
応用例（Video Texture）

http://www.cc.gatech.edu/cpl/projects/videotexture/SIGGRAPH2000/ind
ex.htm
テクスチャによる形状推定

テクスチャは物体表面形状を反映している

テクスチャを手掛かりとした形状（法線方向）推定
→Shape from Texture
Shape from Textureの一例

等方性のテクスチャを仮定し、再投影画像のテクスチャ分布
が等方性となるような角度を探す
1.
tiltとslant角を仮定し、画像を再投影
2.
方向フィルタ出力のばらつきを評価関数とする最適化
Slant
Shape from Textureの例
本日の講義内容のまとめ


テクスチャ

テクスチャとは？

テクスチャの表現方法

テクスチャモデル獲得のための線形フィルタ

テクスチャの合成

テクスチャによる形状推定
参考資料

Chapter 9, Computer Vision: A Modern Approach, D. A.
Forsyth and J. Ponce, Prentice Hall