1. No category

修士論文概要 (2014 年 2 月 13 日)
SSI-MT79123171
POS 情報との統合解析を指向した画像処理に基づく
ショッパー動線解析
北海道大学 情報科学研究科 システム情報科学専攻
システム創成情報学講座 システム制御情報学研究室
越中谷俊樹
1
序論
2
商品を基準の解析空間「ゾーン」
ショッパーの行動目的は商品を購入することであり，
コンビニなどのマーケティング手法の中でインスト
アマーチャンダイジング (ISM)[1] という考え方がある． 効果的に解析するには商品との関係を考える必要があ
ISM とはショッパー（小売店に来店する顧客）の購買行 る．我々はショッパーと商品に対しショッパーが関与で
動を解析することで売上を向上させるための取り組み
きる領域をゾーン Z (図 1) と呼び，以下のように定義
である．ISM を行うことにより，店舗はより有効な広
する．cl はゾーンの各頂点，ω は重み，T は滞留時間
告や商品配置を検討して売上を向上させることができ
る．ISM において顧客の行動は来店，通過，滞留，商
品確認，かごに入れる，購入の６パターンに分類され
ている．従来から解析には，購入商品を記録する Point
of Sales(POS) システムが使用されてきた．POS 情報
を利用することにより，顧客行動の中の「購入」を解析
Zone
Trajectory
出来たが，ショッパーの店内行動に由来する「購入」以
外の 5 つの行動は解析出来なかった．動線を記録，解
析できれば，ISM の精度をさらに向上させ，より有効
(a) ショッパー動線
な商品配置などの店舗設計が検討出来る．我々は，多く
の店舗において防犯目的で既に設置された監視カメラ
の映像から人物検出を用いて動線を取得する手法を用
いる．さらに効率的に動線を解析するため，特にマー
ケティングに適した動線のデータ削減の手法について
も検討する．本論文では POS 情報とショッパー動線を
同定する手法を提案し，実店舗で取得した監視カメラ
映像と POS 情報を用いた実験の結果について述べる．
(b) ゾーンで量子化したショッパー動線
(c) ゾーンベース動線
図 2: ショッパー動線のゾーン変換
図 1: ゾーンの定義図
1
図 3: POS 情報とショッパー動線の同定
のしきい値である．またゾーン Zj の領域を Zj とする． 用いて類似度を算出する．まず，ゾーンの中心間の距離
Z
= {{cl }l=1,2,3,4 , ω, T }
cl
= [ Xl
ゾーンベース動線
Yl ]T
を DZ (Zi , Zj ) とすると，エントリー En と Em の距
(1) 離 DE (E , E ) 以下のように定義できる．
n
m
(2)
DE (En , Em ) = DZ (Zi,n , Zj,m )
(9)
out
※ En = {Zi,n , tin
n , tn }
ショッパー動線を作成するために人
物検出を行い人物位置を求め，フレームごとに人物位置
(10)
DP を用いた動線類似度算出法は以下のように定義す
る．α は距離の重み，β は動線の長さの違いに対する
を追跡する．人物検出には李らが提案する SWT(Smart
Window Transform) と Joint-HOG 特徴，Adaboost に
重み，sp,q は動線 ZTp と ZTq の類似度，dp,q は相違
よる手法 [2] を用い，トラッキングには時系列の最近傍
度， dmax は全ての ZT の組み合わせの中で最大の相
探索を用いる．動線 T は以下のように時刻付き人物位
違度である．
置 pi の時系列で表す．
d(i, j) = {DE (En , Em )}α

pi = [ Xi Yi ti ]T
(3)

 d(n − 1, m) + β
T = {pi }i=1,2,···
(4)
+ min
(11)
d(n, m − 1) + β


d(n − 1, m − 1)
ショッパー動線をゾーンを用いて変換した動線をゾーン
dp,q = d(N, M )
(12)
ベース動線（図 2）と呼ぶ．ゾーンベース動線を記述す
dmax − dp,q
るため，下のようにエントリー E を定義する．滞留時
sp,q =
· 100
(13)
dmax
間がしきい値 T より長いエントリーをストップエント
リー E S と呼び，ストップエントリーの時系列により
ゾーンベース動線 ZT を記述する．
E
ES
ZT
tin , tout
= {Z, tin , tout }


pi−1 ∈
/ Zj , pi ∈ Zj
 Z = Zj
in
t = ti pi−1 ∈
/ Zj , pi ∈ Zj

 out
t = ti pi ∈ Zj , pi+1 ∈
/ Zj
in
= {En | tout
n − tn ≥ Tj }
3
(5)
POS 動線類似度算出法
POS-ZT 変換 ショッパー動線との類似度を算出する
(6) ため，POS 情報をゾーンベース動線に変換する (POSZT 変換)．POS 情報は購入商品と購入時刻の情報を持
(7) つ．商品 m と商品棚 G，および商品棚 G とゾーン Z
(8) の関係は既知のため，それぞれ変換が可能である．この
変換を fGM (m) ，fZG (G) とおくと，商品 m からゾー
はゾーンに入った時刻，出た時刻である．
ンへ Z の変換 fZM (m) は以下のように定義できる．
S
= {{Em
}m=1,2,··· }
= fZG (G)
(14)
算出する手法を “動線類似度算出法”と呼ぶ．本論文で
= fZG (fGM (m))
(15)
は動的計画法 (Dynamic Programming[3] 以下，DP) を
= fZG · fGM (m) = fZM (m)
(16)
動線類似度算出
Z
ゾーンベース動線どうしの類似度を
2
ZT
POS
ZTpos = {{Em}m=0,1,...} = {{Zm, tmin, tmout }m=0,1,...}
POS - ZT Translation
put in order
POS = ({mi},tc)
3!
ZTu1pos Z2
Z3
Z1
ZTu2pos Z1
Z2
Z3
ZTu3pos Z2
Z1
Z3
ZT
fZM(m) = Z
図 4: POS-ZT 変換：購入商品のゾーンベースへの変換
これらを用いて POS-ZT 変換を以下のように定義する．
表 1: ショッパー動線と同定を行う POS 情報
POS 情報
mi は購入商品， tc は購入時刻である．
= ({mi }, tc )
(17)
˜
E
˜ t˜in , t˜out }
= {Z,
(18)
Z˜
= fZM (mi )
(19)
˜m }m=1,2,··· }
= {{E
(20)
POS
ZT
pos
4
時刻
商品名
数
金額
1045
ＣＯトイレクリーナー 12
4
712
実店舗データによる解析実験
t˜in ， t˜out は E を構成するためにダミーの時間を入れ POS 情報とショッパー動線の同定および購買行動解析
る．ZTpos は購入商品数 n とすると n! 通り存在する． 実験データの取得には，コープさっぽろの協力のもと
ZTpos の集合を ZT とする．このとき， u を 1∼n を 北海道余市郡にあるコープさっぽろ余市店にカメラを
並び替えた順列とし，u の集合を U = {u1 , u2 , ..., un! } 5 台設置し，2012 年 9 月 6 日から 11 月 6 日までの 2ヶ
とする．
月間撮影を行った．本実験では 2012 年 9 月 15 日午前
ZT
pos
pos
= {ZTpos
u1 , ZTu2 , ..., ZTun! }
10:00 から 11:00 の 1 時間に，日用品の通路を撮影した
(21) カメラの映像を使用した．人物検出，動線抽出により
検出した 195 人のショッパー動線と表 1 の POS 情報の
POS 情報は購入商品と購入時刻
類似度を求めた．ZT と ZT の類似度がしきい値以上
を記録している．POS-ZT 変換では購入商品を用いた
のショッパー動線のことを照合候補と呼ぶ．まず，POS
が，ここでは POS 情報に記録された購入時刻を用いて
動線類似度算出法を用いて照合候補の数を減らし，次
ショッパー動線と POS 情報の類似度を算出する手法を
に残った照合候補の中から目視で同定を行った．
ショッパー存在確率
動線類似度算出法を用いることで，図 5 のように照合
提案する．ショッパーはまず売場を回遊し，商品をカゴ
にいれ，最後にレジで会計（POS 情報に記録）をする． 候補の数を 195 人から 16 人まで減らすことが出来た．
そのため，ショッパーが売場に存在する時間は POS 情 この 16 人から目視で同定を行った結果，2 度の滞留を
報に記録された購入時刻よりも必ず前になる．購入時刻 含むショッパー動線が対応した．POS 情報とショッパー
から推定してショッパーが売場に存在する確率を “ショッ 動線の同定が出来たことで，検出した滞留をさらに購
入挙動と迷い挙動に分けることが出来た（図 6）．同定
パー存在確率”と呼ぶ．
するまでは単純に 2 度滞留していることしか分からな
かったが，同定することで滞留を購入挙動，迷い挙動に
POS 動線類似度算出法における類似度 動線類似度算 分けることが出来た．
出法を用いた POS 情報とゾーンベース動線の類似度を
算出法を提案する．前章の POS-ZT 変換を用いて POS
9 月 15 日 10:00
∼11:00 に会計をした 16 人のショッパーの POS 情報と，
算出法により類似度を算出することができる．POS-ZT
同時刻に検出した 145 人分のショッパー動線を用いて
変換により得た ZTpos は購入商品数 n として n! 通り
POS 動線類似度算出法による購入挙動と迷い挙動の判
存在する．類似度を求める際は，この中で最も類似度
別精度の検証を行った．精度検証の結果は図 7 に示す．
が高かった ZTpos
uj の類似度を ZT と ZT の類似度と 検出率，未検出率，誤検出率の算出式は修士論文 (p.38)
する．
購入挙動と迷い挙動の判別精度検証
情報をゾーンベース動線に変換することで，動線類似度
3
[%]
100
Buying
Considering
50
0
Detection rate
Undetected rate
Misdetection rate
図 5: POS 動線類似度算出法による算出結果
図 7: 購入挙動，迷い挙動の検出精度（POS 動線類似
度算出法のみ）
換した動線をゾーンベース動線として新しく定義した．
Considering
このゾーンベース動線どうしの類似度を算出する手法
として動線類似度算出法を提案した．また，POS 情報
をゾーンベース動線に変換する手法として POS-ZT 変
Buying
換を提案し，これらを用いて POS 情報とショッパー動
線を同定する方法について述べた．実験では 195 人分の
ショッパー動線と POS 情報の同定を行い，滞留の検出
および滞留を購入挙動と迷い挙動に分けることが出来
図 6: 「購入挙動」と「迷い挙動」の分類結果
た．また，16 人分の POS 情報と 195 人分のショッパー
動線を用いて購入挙動，迷い挙動の検出精度を評価し
に記載した．購入挙動と迷い挙動の判定は POS 動線類
た．迷い挙動は検出率は 70.7 ％，誤検出は 6.0 ％と実
似度算出法を用いて行った．POS 情報に記録された購
用化には十分な精度であることが確認できた．これに
入商品を含むゾーンと一致したゾーンでの滞留が購入
より，マーケティングにおいて重要な迷い挙動に注目し
挙動，一致しなかったゾーンでの滞留が迷い挙動であ
て解析を行えるため，商品配置や商品のプロモーション
る．POS 動線類似度算出法の類似判定のしきい値は 95
の検討も詳細かつ正確に行うことが可能である．今後，
％とした．正解値である Ground Truth（以後，GT）は
年齢や性別などの ID 情報についても，画像から取得し
映像から目視で判定した．購入挙動は商品をかごに入
た色特徴から年齢や性別を推定してマッチングするこ
れたとき，迷い挙動は商品を手に取って戻したときと
とで，さらに精度を向上することが出来ると考える．
ただ立ち止まっただけの時とした．しかし，実際は一
つのゾーンベース動線と一致する POS 情報は多くても
参考文献
1 つである．そのため，購入挙動の判定には多数の誤検
出が発生している．しかし，マーケティングにおいて重
[1] 流通経済研究所. インストア・マーチャンダイジン
グ: 製配販コラボレーションによる売場作り. 日本
要なのは，商品を購入しなかった迷い挙動である．迷
い挙動の解析を行う際には，統計的な解析が必要とな
経済新聞出版社, 2008.
るため，検出率が高いことよりも誤検出が少ない方が
より良いと考える．本実験における精度検証では POS
[2] 李媛, 伊藤誠也, 三好雅則, 金子俊一, 藤吉弘亘.
動線類似度算出法のみでの誤検出率は 6.0 ％であり迷い
Smart Window Transform を用いた人物検出. 精
密工学会秋季大会学術講演会講演論文集, pp. 920–
921, 2011.
挙動の検出に関しては十分に実用化が可能である．
5
結論
[3] Bertsekas. Dynamic programming and optimal
control, Vol. 1 of 2. Athena Scientific Belmont,
画像解析を用いてショッパーの動線を解析する手法を
提案した．動線のデータ量を圧縮するために商品を基準
MA, 1995.
とした解析空間「ゾーン」を提案し，ゾーンを用いて変
4