1. No category

2014/4/7
Auditory Stimuli
コミュニケーション科学と
ヒューマンインタフェース
Processor & Accelerometer
人間を内側から支援する共創システムをめざして
東京工業大学
知能システム科学専攻
三宅研究室
Walking
Rhythm
Walk-Mate
[email protected]
http://www.myk.dis.titech.ac.jp
1
2
主観的時間の共創（「間(ま)」が合うこと）
コミュニケーションを内側から捉えると・・・
■ 共創システムではシステムの内側から主観を含む領域として捉える（当事者の視点）．
■ 多様な主観的時空間が共存するシステムにおけるコミュニケーションの問題になる．
■ 主観的な領域，特に，時間的側面である「間（ま）」に注目し，その生成とインター
パーソナルな共有の問題に取り組む．
■ 主観的時間が共有され，共創的同時性（「間（ま）」が合うこと）が生成する仕組みに
ついて研究する．
■ どうして主観的時空間はインターパーソナルに共有できるのであろうか？
「間(ま)」が合うこと
yB
Human-A
now
now
now
now
now
xB
timeB
C
now
主観的時間
dXB/dt=F(XB) 主観的ダイナミクス
共創的同時性
(Coordination from inside)
ΣSB主観的時空間
B
time
客観的時間
物理的同時性
(Coordination from outside)
A
yA dX /dt=F(X ) 主観的ダイナミクス
A
A
xA
timeA
Human-B
ΣSA主観的時空間
共創的システム
now
now
now now now
now
now now
time
3
Miyake, Y., "Co-creation systems: Ma and communication," In E Pöppel, S Han (Ed.), Culture and Neural
Frames of Cognition and Communication, pp.139-152, Springer-Verlag, Heidelberg (2011)
主観的時間
客観的時間
4
1
2014/4/7
１. コミュニケーションの認知科学
主観的同時性の生成
■ 同時性知覚を同期タッピング（Synchronization Tapping）課題を用いて調べる．
■ 主観的な同調状態は客観的な同調状態に先行すること（負の非同期現象）．
■ この現象を用いることで主観的同時性（「間(ま)」）と客観的同時性を分離できる.
Stimulus Onset
rhythmic auditory stimulus
Prefrontal Cortex
(Brodmann 10)
Stimulus Onset
ISI
Tap Onset
意識化される時間知覚
の生成を担うプロセス
Tap Onset
tap
!
SE(n)
ISI: Inter Stimulus-onset Interval
SE: Synchronization Error
ITI: Inter Tap-onset Interval
SE(n+1)
ITI(n)
3 0 30
SE
主観的同時性「間(ま)」
Tap onset
25
意識下における時間知覚
の生成を担うプロセス
Right
Cerebellum
ズレ
客観的同時性
Tone onset
データ頻度
2 0 20
15
1 0 10
ISI=900ms
5
Right
Left
0
5
共創的同時性の生成（「間(ま)」が合うこと）
0
-0.6
-0.6
-0.5
-0.5
-0.4
-0.3
-0.4 -0.3
0.1
0.2
0.3
- 0 . 2 - 0同調誤差SE[sec]
.1
0
0.1
-0.2
-0.1
0
0.2
0.3
6
共創的同時性の生成メカニズム
■ 同時性知覚の共有を協調タッピング（Cooperative Tapping）課題を用いて調べる．
■ 共創的同時性の生成機構は二重化されたダイナミクス（Dual Dynamics Model）．
■ 主観的時間（「間(ま)」）がインターパーソナルに共有される仕組みを調べるため，
被験者間でリズム音を交換しながら同期タップする課題を新たに開発した．
■ 身体的プロセスはリズムの相互引き込みに基づいて「場」を自己組織する役割を担う．
■ 認知的プロセスは履歴性を有しており「場」からの影響のもとで主観的同時性を生成.
ITIA(n)
Subject A
TapA(n)
ΣSEA
ΣSEB
TapB(n+1)
Subject A
SEA
time


SEB
ITIA
ITIB
Tap
Motion
Tap
Motion
Subject E
1200
ITI[ms]
ITI [msec]
TapB(n)
ITIB(n)
Subject B
1300
このSEは同期タッピングにおける客観的
同時性と主観的同時性のズレに対応す
る．
1100
1000
900
200
Subject A
100
SE[ms]
SE [msec]
SE(n+1)
Subject
B
Subject B
time
tap!
Subject B
Subject A
Subject
Subject AA
TapA(n+1)
SE(n)
tap!
認知的プロセス
auditory stimulus
auditory stimulus
0
-100
Subject E
SEの時系列解析によって主観的同時性
がインターパーソナルに共有されるメカ
ニズムを推定する．
7
-200
時間[taps]
SE
n
ITI ( n)  ITI 0  h   SE ( j )
j 1
履歴的ダイナミクス
↓
内部モデル（Internal Model）
身体的プロセス
ITI (n)  C1  k  SE ( n)
リズムの相互引き込みダイナミクス
↓
身体モデル（Body Model）
相互引込みを介する「場」の自己組織
8
Kon, H. & Miyake, Y., "An analysis and modeling of mutual synchronization process in cooperative tapping,” Transaction of Human Interface Society,
Vol.7, No.4, pp.61-70 (2005)
2
2014/4/7
２. リハビリテーション・ロボット
歩行リハビリの支援システムWalk-Mate
■ 協調歩行における共創的同時性
誰かと並んで歩くとき自然と歩調がそろうこと（「間」が合うこと）は身近な経験であるが，そのような
共創的同時性を人間と歩行ロボット（仮想ロボット）の間に構成し歩行リハビリに応用する
http://www.honda.co.jp/ASIMO/assist/rhythm/index.html
安原謙, 三宅美博, "歩行補助装置の制御システム," PCT国際出願PCT/JP2003/09918, 公開WO2004-017890 (2003)
安原謙, 三宅美博, "歩行補助装置の制御システム," 特願2002-240699, 公開2004-73649 (2002)
人間
歩行ロボット
9
歩行リハビリの支援システムWalk-Mate
10
「間」を合わせる歩行リハビリ
■ 相互適応・大域的安定性・一体感・持続性
人間側とロボット側のリズムが相互に適応し同調する．その結果として歩行リズムのグローバルな
安定化が実現される．そのような状態は人間側に主観的な一体感を感じさせる
一体感
持続性
大域的安定性
Sense of Togetherness Global Stability
Sustainability
1.5
Human
Robot
歩行周期[秒]
1.4
Th=1.24
Fh=0.040
1.3
不安定
1.2
Th=1.20
Th=1.16
Fh=0.024
安定
1.1
Tm=1.16
Tm=1.12
1
Tm=1.00
Miyake, Y., “Interpersonal synchronization of body motion and the Walk-Mate walking
support robot," IEEE Transactions on Robotics, 25-3, 638-644 (2009)
三宅美博, "非線形制御器および非線形制御方法," PCT国際出願PCT/JP2005/001429 (2005)
三宅美博, "歩行介助装置," PCT国際出願PCT/JP2005/018730 (2005)
11 (2004)
三宅美博, "非線形制御器および非線形制御方法," 特願2004-034174, 公開2005-227909
三宅美博, "歩行介助システム," 特願2004-293136, 公開2006-102156 (2004)
0.9
相互適応
Mutual Adaptation
単独歩行
independent
0.8
0
単独歩行
independent
Walk-Mate歩行
interaction
60
時間 [秒]
120
180
12
3
2014/4/7
最近のWalk-Mateの展開
最近のWalk-Mateの展開
■ スマートフォンへの実装
■ ウェアラブルロボットへの実装
上
左
右
下
腰軌道
without Walk-Mate
上
左
右
下
13
without Walk-Mate
Google Glassへの展開
Auditory Stimuli
腰軌道
14
with Walk-Mate
with Walk-Mate
COIプロジェクトにおけるWalk-Mate
Processor & Accelerometer
■ COIにおけるWalk-Mateの展開：歩行機能の支援にとどまらず、そのネットワーク化を介
して高齢者の社会参加を促進する開かれたコミュニケーションプラットフォームに展開する．
Walk-Mateの
ウェアラブル化
Walk-Mateの
社会サービス化
Walk-Mateの
ネットワーク化
Smart Japan
歩⾏アシストを介して
社会参加を促進し
⾼QOL社会を実現
Ageless Society
Walk-Mate
⾼齢者の歩⾏時の転倒予防
や健康モニタリングによる社会
参加の促進
ICT
センサネットワーク
クラウドコンピューティング
社会的群知能
Happiness Society
ストレスフリーのための
スポーツ等の⽀援
Walking Rhythm
15
ゼロパワーウェアラブルデバイス
オールバンド通信システム
Smart Life Care
いつでもどこでも遠隔地リハビリ
（Cyber-Physical System）
超多様パーソナルサービス
16
4
2014/4/7
３. コミュニケーション・ロボット
コミュニケーション・チャネルの拡張
言語的なコミュニケーション (Explicit Communication)
Communication
Channel
言語的情報
Verbal
非言語的情報
（身体的インタラクション）
Non-Verbal
17
Verbal
30～35％
言語的
① Language 言語的（発言の内容・意味）
② Near language 近言語的（発言の形式的属性）
a. Acoustics, Phonetics 音響学的・音声学的属性
（音の高さ，速度，アクセントなど）
b. Temporal pattern of utterance
（間のおき方，発言のタイミング）
Non-verbal
65～70％
非言語的
③ Body motion 身体動作 ＜＝身体的インタラクション
a. Gaze
の重要性に注目
b. Gesture, Posture, Body contact
c. Face expression
④ Proxemics プロクセミクス（空間の行動）
対人距離，着席位置など
⑤ Artifacts人工物（事物）の使用
被服，化粧，アクセサリー，道路標識など
⑥ Physical environment 物理的環境
家具，照明，湿度など
コミュニケーションには
広いチャネルがある
18
非言語的（身体的）なコミュニケーション (Implicit Communication)
高齢者の対話コミュニケーション支援
対話における「間」の分析
カウンセラーとクライエントの身体運動の同調の分析
■ ヒューマンロボットインタラクションへの応用
経過時間（min）
低評価事例
発話と交替潜時の同調が対話の印象に影響することが示され
た．若年者より高齢者において強く影響が現れる傾向がある．
タイミングの制御モデルの有無で有意差 P<0.01
高齢者
対話の印象評価
若年者
低評価のカウンセリング
相互相関がほとんど観察されない
↓
二人の身体運動がほとんど同調していないこ
とを意味している
非常に強い相互相関が観察される
↓
二人の身体運動が無意識的に同調している
ことを意味している
会話中の身体運動の同調現象は
コミュニケーションの質と関係する
経過時間（min）
高評価のカウンセリング
高評価事例
対話の印象評価
髙杉將司, 山本知仁, 武藤ゆみ子, 阿部浩幸, 三宅美博, "コミュニケーションロボットとの対話を用いた
発話と身振りのタイミング機構の分析," 計測自動制御学会論文集, vol.45, no.4, pp.215-223 (2009)
相互相関関数（cross correlation function）
髙杉將司, 吉田祥平, 沖津健吾,横山正典,山本知仁,三宅美博, "コミュニケーションロボットとの
対話における交替潜時長と頷き先行時間長の影響評価," 計測自動制御学会論文集, vol.46, no.1,
pp.72-81 (2010)
20
5
2014/4/7
４. 社会的コミュニケーション分析
社会的コミュニケーションの計測システム
■ センサネットワークによる社会的な「間」の計測
名札に実装された加速度センサで個人の活動状態の計測を行い，ＩＲセンサで個人の対面状態
を計測する．組織における社会的コミュニケーションの「間」の計測方法を開発している
個人の活動パターンの計測
加速度センサ
活動状態の検出
活動度（振動数）の
時系列データ
P  x     a  
社会的ネットワークの計測
ＩＲセンサ
対面状態の検出
対面時間長の
マトリクスデータ
：対面状態
身体活動の振動数
22
21
0[Hz] 1[Hz] 2[Hz] 3[Hz]
γ（スケール指数）―Ｃin（入次数中心性）
スケール指数 γ
個の活動
■ 対面状態にある個人のあいだでの身体運動
の同調傾向（エントレインメント）
観察された振動数
の差の分布
対面状態において個人間の身体運動リズムの振動数
が相互に接近することが示された．社会的コミュニケー
ションにおいて「間」が合っている可能性がある．
対面状態における身体運動の
振動数の差の分布
r = 0.55 (p < 0.001)
社会的ネットワーク
観察された振動数
の差の分布
入次数中心性 Cin
γ（スケール指数）―Ｃout（出次数中心性）
個の活動 スケール指数 γ
個人の活動パターンの特徴量であるスケール指数γと，
個人をとりまく社会的つながりの特徴量であるネットワーク
中心性Ｃのあいだには正の相関が確認された．
ビジネス顕微鏡（日立製作所）
Yano et al. http://www.hitachi-hitec.com
/jyouhou/business-microscope/index.html
社会的ネットワークにおける「間」の共有
個の活動と社会的ネットワークの関係
■ スケール指数γとネットワーク中心性Ｃの関係
 
G  f ij
ランダム化された
振動数の差の分布
ランダム化された
振動数の差の分布
r = 0.58 (p < 0.001)
23
社会的ネットワーク
24
出次数中心性 Cout
6
2014/4/7
研究テーマ（基盤領域）
研究テーマ（応用領域）
 コミュニケーション科学と共創システム
 インタフェースと社会システムへの応用
コミュニケーションと時間に関する認知神経科学
共創コミュニケーションの支援システムの開発
■共創コミュニケーションにおける主観的時間の生成と共有 （ミュンヘン大学との共同研究）
■対話コミュニケーションにおける発話と身振りのタイミング生成の分析とモデル化
（金沢工大との共同研究）
■合意形成の対話における情報統合プロセスの解析
■協調タッピングにおけるタイミング共有機構の分析とモデル化
■細胞間コミュニケーションを介する生物の形態形成モデルの構築
■共創型介助ロボットWalk-Mateによる脳卒中患者のリハビリテーション支援
（日産玉川病院との共同研究）（ホンダ技研との共同研究）
■共創型介助ロボットWalk-Mateによるパーキンソン病患者の歩行安定化
（関東中央病院との共同研究）
■ヒューマン・ロボット・インタラクションにおける発話と身振りの「間」 （三菱重工との共同研究）
■音楽アンサンブルにおける共感空間の創出
 新テーマ
 新テーマ
同時性知覚の研究への展開 （「間(ま)」の研究）
社会的ネットワーク支援への展開 （サービス科学）
■時間順序判断における同時性知覚の生成機構に関する研究
■時間知覚における同時性のインターパーソナルな共有機構に関する研究
（東北大学・東大との共同研究）
25
■センサネットワークを用いた社会的コミュニケーションの分析とモデル化
（日立製作所との共同研究）
26
■コミュニティサービスにおける共創的イノベーションの場づくり（介護センターとの共同研究）
三宅研究室へようこそ！
三宅研２０１４年度メンバー
教授
三宅 美博 (Yoshihiro MIYAKE)
助教
小川 健一朗 (Ken-ichiro OGAWA)
秘書
冨永 弓子 (Yumiko TOMINAGA)
林 千枝 (Chie HAYASHI)
研究員
野澤 孝之
緒方 大樹
小林 洋平
奥村 圭司
社会人博士
本橋 正成 (Masanari MOTOHASHI)
青田 桂士 (Yoshito AOTA・横国大)
修士２年
徐 歩杰 (Houketsu JYO)（中国）
河野 大器 (Taiki KOHNO)
猿田 百合子 (Yuriko SARUTA)
朱谷 知洋 (Tomohiro SYUYA)
田端 篤 (Atsushi TABATA)
QIAO Liang (中国)
修士１年
浅見 篤 (Atsushi ASAMI)
長尾 嵩利 (Takatoshi NAGAO)
橋口 裕徳 (Hironori HASHIGUCHI)
松井 裕伸 (Hironobu MATSUI)
三浦 俊介 (Syunsuke MIURA)
学部４年（卒研）
○○ ○○
Thank you for your attention!
(Takayuki NOZAWA・東北大)
(Taiki OGATA・東大)
(Yohei KOBAYASHI・脳機能研究所)
(Keiji OKUMURA・早稲田大)
ご興味をお持ちの方は連絡ください
[email protected]
博士４年
大良 宏樹 (Hiroki OHRA)
内富 寛隆 (Hirotaka UCHITOMI）
博士３年
權 眞煥 (Jinhwan KWON・韓国)
博士２年
太田 玲央 (Reo OHTA)
博士１年
HAO QIAO（中国）
Robin Yap（シンガポール）
Miyake Cup 2013
卓球27大会
28
7