1. No category

自動運転に求められるセンシングシステムとその課題
2014年9月18日
株式会社 ZMP
©2014 ZMP Inc. All Rights Reserved.
ZMPの自動運転車開発プラットフォーム「RoboCar®」
©2014 ZMP Inc. All Rights Reserved.
1
自動運転車開発プラットフォーム「RoboCar®」
•
自動運転をゴールとして技術を開発中。関連技術を自動車／部品メーカ等に提供。
•
主な特徴
–
自動運転車開発プラットフォーム「RoboCar®」
•
–
レーザレンジ
センサ
コンピュータ制御可能な市販車ベースのロボットカー
SLAM技術*1を搭載
•
–
単眼カメラ
（歩行者検出）
GPSが不安定なところでも自車位置を推定
センサ・フュージョン
•
高価な３Dスキャナに頼らず、２Dレーザレンジセンサ（LRS）とカメラ、
RoboCar® HV
ミリ波レーダー（Rader）、慣性センサ（IMU）を利用
•
メリット
–
ハードからソフトまでをすべて提供。
–
開発期間の短縮、自社製品評価のための
リファレンスシステム、などで利用可能。
•
実績
–
ITS世界会議、東京モーターショーでの試乗走行実施
–
自動車メーカへ技術提供（自動走行、自動駐車、など）
センシングエリア
*1：Simultaneous Localization and Mapping、標識やGPS の情報に頼らず環境マッピングと位置推定を同時に行う技術。
©2014 ZMP Inc. All Rights Reserved.
2
自動運転技術で培った技術を運転支援技術に展開
完全自動
現在のニーズ
追突回避ブレーキ
操舵を加えた衝突回避
車線逸脱防止
運転死角検知
カーブ進入速度低減
ABS
エアーバッグ
衝撃緩和バンパー
衝撃緩和ボンネット
支援
回避
軽減
ロボット化
車間距離・速度制御
車線維持支援
車線変更支援
追い越し支援
合流支援
渋滞時低速運転支援
眠気・疲労検知
縦列駐車支援
車庫入れ支援
技術をライブラリー化し、パッケージで提供
©2014 ZMP Inc. All Rights Reserved.
3
自動運転開発を支援する技術
ZMPでは、自動運転開発を支援するプラットフォーム・システムを提供しています。
1.
プラットフォーム車両
– 各種センサを搭載し、「走る・曲がる・止まる」をコンピュータ
制御可能な実験用車両
2.
環境認識・センシング
– 3/2次元レーザ、ステレオカメラ、単眼カメラ等による周囲環境
・車両・歩行者等の認識
3.
軌道生成・マッピングと位置推定
– 指定した位置と角度へスムーズに走行する軌道を生成
– 自車位置の推定とマッピング（SLAM技術）
©2014 ZMP Inc. All Rights Reserved.
4
プラットフォーム車両のニーズ
• 「自動運転車の公道走行の環境整備」など、取り組みが活発化
• 自動運転に向けて、センサ技術やアルゴリズムの高度化などが求められる。
• 市販車は内部の仕組みが分からないため、実験用車両として扱いにくい。
©2014 ZMP Inc. All Rights Reserved.
5
プラットフォーム車両
•「走る、曲がる、止まる」をコンピュータから制御可能な実験・開発用車両
実車1/10スケール
1/10
©2014 ZMP Inc. All Rights Reserved.
一人乗りEV
MV2
プラグインハイブリッド
/ハイブリッド車ベース
PHV/HV
6
RoboCar PHV/HV 機能
• 基本構成
– 普通車にデータ収集・自動コントロール機能をアドオン
• CAN情報の取得
– 車速、バッテリー情報、ドライブモード、アクセル、ブレーキ情報、などたく
さん。
• ステアリング制御
– ステアリングホイールのトルク入力、出力
– 角度制御
• アクセル、ブレーキ制御
– アクセルペダル、ブレーキペダル入力、出力
– 速度制御
– シフトレバー制御
• UI
©2014 ZMP Inc. All Rights Reserved.
7
RoboCar PHV/HV ｼｽﾃﾑ構成
ブレーキ
ECU
エンジン
EPS
ECU
動力分割
機構
ジェネ
レータ
モータ
インバータ
エンジン
ECU
バッテリ
ECU
CAN0
OBDII
自動制御
ECU
制御
コント
ローラ
バッテリ
情報
ディスプレイ CAN1
HV ECU
©2014 ZMP Inc. All Rights Reserved.
8
一人乗りEVベース RoboCar MV2
• 一人乗り電気自動車プラットフォーム
• 通信プロトコルを公開。ユーザアプリケーションの搭載が可能。
• 自動運転・自動駐車、隊列走行、などの研究開発に
©2014 ZMP Inc. All Rights Reserved.
9
RoboCar MV2
「走る・曲がる・止まる」をコンピュータ制御
高齢者の運転支援や近距離移動車両の研究開発に
業 界
用 途 例
高齢者の移動手段、近
距離移動車両の実験に
ユーザインタフェース
ITサービス/アプリ
通信
制御
実
車
へ
搭
載
運転支援技術・予防安全
技術の開発に
自社製品・技術の実車で
の評価に
コンポーネント
電池
超小型EV
RoboCar® MV2
センサ
©2014 ZMP Inc. All Rights Reserved.
クルマとITを連携させた
サービスやアプリケーショ
ンの実験に
10
RoboCar MV2 システム構成
環境認識
運転操作・生体情報
ｽﾃﾚｵﾋﾞｼﾞｮﾝ ZMP®
全身ﾓｰｼｮﾝｷｬﾌﾟﾁｬ
ZMP® BodyMotion
RoboVision for Car2
頭部電位ｾﾝｻ
ﾚｰｻﾞﾚﾝｼﾞｾﾝｻ*1
ZMP®Fp1Electrometer-Z
コントロールPC&SDK
Ethernet
USB
RS-232C
Wi-Fi
（オプション）
MV
API
ユーザ
プログラム
・・・
CAN(プロトコル公開)
環境認識
車両挙動・位置・環境
死角検知(BSD)ｾﾝｻ
ZMP® OpticalFlow-Z
ﾐﾘ波ﾚｰﾀﾞ*1
加速度/ｼﾞｬｲﾛ/地磁気
GPS/気圧/温度/湿度
ZMP®Position&Motion
・・・
2軸高精度傾斜ｾﾝｻ
ZMP® Inclinometer-Z
拡張例（オプション）
*1 他社製品
*2後輪１ヶ所に標準装備。オプションで計四輪に搭載可能。
RoboCar® MV Controller
MV
Inverter
MV
Steering
Driver
Steering
wheel
(Angle)
Accel pedal
MV
Brake
Driver
Brake pedal
M
M
M
Encoder*2
RoboCar® MV2システム構成例（TypeBプラットフォーム＋コントロールPC&SDK）
©2014 ZMP Inc. All Rights Reserved.
11
1/10サイズロボットカー RoboCar 1/10
• 1/10サイズのロボットカー。会議室や廊下で手軽に実験が可能。
• ステレオカメラ、レーザセンサ、キネクト、など外界センサを搭載
• C言語、MATLAB、LabVIEWで開発可能
• 自動運転、隊列走行など運転支援技術・予防安全技術の研究
開発に
©2014 ZMP Inc. All Rights Reserved.
12
ミニチュアカーから実車へ段階的に技術を蓄積可能
•
実車RoboCarの制御やAPIのベースは、オフィス内で実験できる1/10モデルで開発
•
制御
– 内蔵されている制御アルゴリズム、速度制御やステアの角度制御は、1/10、MV、にて利用して
きたものをさらにバージョンアップ
– 速度制御 (基本はPID制御)
• 1/10
•
DCモータのトルク
• MV
DCモータのトルク
• HV
アクセルとブレーキだが基本は同じ
API
– 1/10で作成したAPIと、ほぼ同等の機能をもちながら、ユーザーからフィードバックをうけより使
いやすいよう改良
1/10
©2014 ZMP Inc. All Rights Reserved.
HV
MV
13
新製品：自動運転コントローラ “IZAC”
自動運転技術開発者向け
コントローラBox
• 自動運転、ADAS技術開発者むけ
高性能インテルプロセッサ搭載
IZAC
(Controller)
車両を直接コントロール
ユーザーアルゴリズムインストール可能
多数の自立移動コンポーネント搭載
©2014 ZMP Inc. All Rights Reserved.
• 各種センサーデータ処理、経路生成
等を高速リアルタイム処理
自動運転向けソフトウェアを
コンポーネント提供
• ユーザーのアルゴリズムとZMPのノウ
ハウを組み合わせて使用可能
14
自動運転のためのセンシングと課題
©2014 ZMP Inc. All Rights Reserved.
15
環境認識・センシング
• 3次元/2次元レーザ
– ３次元：全周＋高さ30°
– ２次元：水平面190°
3次元レーザ
2次元レーザ
– 高性能・高価格
• ミリ波レーダ
– 前方向車両の検出に特化
• ステレオ／単眼カメラ
ステレオカメラ
– 認識アルゴリズムの開発
が必要
©2014 ZMP Inc. All Rights Reserved.
ミリ波とレーザ
HoG
SVM
16
センサフュージョン（１／２）
• カメラ（単眼／ステレオ）、ミリ波レーダ、レーザレンジセンサ、モーションセン
サ、などを統合
カメラ
レーザレンジセンサ
（～60m）
ミリ波レーダ
（～120m）
上段：前方カメラ映像
下段左：ミリ波レーダー／下段右：レーザーレンジセンサ
©2014 ZMP Inc. All Rights Reserved.
17
センサフュージョン（２／２）
• レーザセンサによる全周囲センシング
– 位置・方向の異なる複数のレーザセンサ
からのデータを統合し、車両の中心点から
のセンサデータとして処理
• モーションセンサ統合による車速・向きの
精度向上
– 車速や車両の向きが変化する際、精度の
設定用PC
ミリ波レー
ダ
データロガー
CAN0
落ちる四輪回転数（エンコーダ）情報に加
ビデオ
サーバ
えて、モーションセンサのデータ（加速度・
ハブ
カメラ
ジャイロ・地磁気）を重み付けし利用するこ
CAN1
CAN2
レーザレンジ
センサ
OBDII
とで、精度を向上。
モーション
センサ
©2014 ZMP Inc. All Rights Reserved.
Ethernet
車両情報
18
画像認識
•
RoboVision/RoboVision for Car
– 基線長5㎝～35㎝のステレオビジョン
– 128コア並列処理チップIMAPCAR仕様
– 距離計測、白線検出アプリ、アプリ
ステレオカメラ ZMP RoboVision
死角検知カメラ
ZMP OpticalFlow-Z
開発環境付属
•
RoboVision Single
– 単眼カメラ＋機械学習によるビジョン
システム
レーンキープ・チェンジ
– nVIDIA GPUによる高速処理
– SVMにより先行車両、歩行者を検出
•
先行車両、歩行者検検出
OpticalFlow-Z
– 単眼カメラ＋FPGAでオプティカルフローで死角検出
•
イタリアパルマ大学発ベンチャーVisLab社ともコラボ
ステレオビジョンシステム（イタリアVisLab社）
©2014 ZMP Inc. All Rights Reserved.
19
ステレオビジョン RoboVision for Car2
• ステレオカメラの基線長を350mmに設定。約6～70mまでの距離画像の取得
が可能。
• 車両前面ガラス部に容易に取り付け可能。
• 開発環境も用意。ステレオ処理アルゴリズムの
開発が可能（オプション）
©2014 ZMP Inc. All Rights Reserved.
20
機械学習による車両・歩行者検出
• 前方カメラ映像から、HOG特徴量を算出し、SVM（Support Vector
Machine）を構築
• 汎用的な開発環境としてNVIDIA社のGPUにてリアルタイム検出
•運転支援システムにおける歩行
者の検出
•衝突回避・オートクルーズのため
の先行車両の検出
•単眼カメラシステムのアプリケー
ション検討
•自律移動ロボットのビジョンシス
テム開発
など
©2014 ZMP Inc. All Rights Reserved.
21
機械学習による認識の流れ
学習
検出
カメラ
トレーニング
データ
正解
画像
HOG
特徴量
・
・
・
不正解
SVM
検出
（GPU）
・
・
・
トレーニングデータ
アプリケーション
©2014 ZMP Inc. All Rights Reserved.
リアルタイム検出
アプリケーション
22
死角検出
超高速小型組込みオプティカルフローセンサモジュール
 カメラ一体・小型センサモジュール
50mm×50mmの基板にカメラ、FPGA、CPU、メ
モリを搭載。最大240fps (320x240)と高速で計測
が可能。
 リアルタイム表示LCDディスプレイ
 高精細オプティカルフロー出力
 平均速度出力
©2014 ZMP Inc. All Rights Reserved.
23
センサ・システム
ミリ波レーダー
レーザレンジセンサ
ステレオカメラ
RoboVision2
死角検知カメラ
OpticalFlow-Z
9軸姿勢推定センサ
IMU-Z2
GPS・気圧・温度・湿度センサ
Position-Z
傾斜センサ
Inclinometer-Z
モーション計測システム
脳波計
統合計測システム
心電計・心拍計
©2014 ZMP Inc. All Rights Reserved.
二酸化炭素
センサ
6軸センサ
（シート/ウォータープルーフ）24
9軸ワイヤレスモーションセンサ ZMP IMU-Z2
• 3軸加速度、3軸ジャイロ、3軸地磁気から姿勢を推定。
• 無線（Bluetooth）対応で場所にとらわれず計測可能。
• C言語、MATLAB、LabVIEWでも開発可能
• 充実した開発環境（SDK）を用意。研究開発がスムーズに可能。
©2014 ZMP Inc. All Rights Reserved.
25
軌道生成・マッピングと位置推定
©2014 ZMP Inc. All Rights Reserved.
26
自動運転技術
•
周囲の環境をセンシングしSLAM（Simultaneous Localization and Mapping）技術により、自車の位
置を推定しながら自動運転
•
高層ビルが立ち並ぶ都市部やトンネル、山間部など、GPS で正しい位置を計測することが難しい
場所での自動走行に応用
•
計算量を抑えた高速
SLAM技術（Grid-based
Scan-to-Map Matching
SLAM、バージニア工科大
学）
©2014 ZMP Inc. All Rights Reserved.
車外からの映像
車内からの映像
SLAMによる自車位置推定
シミュレータ画面
27
高速SLAM（Grid-base scan to map matching SLAM)
•
自動運転・自律移動には自己位置の特定が必要です。GPSが不安定な場所などでは、周囲環境をセンシング
し、自己位置推定とマップ作成を同時に進めるSLAMが有効です。SLAMでは、現在の情報と少し前の情報を比
較しながら自己位置を推定してゆきます。
•
一般的なSLAMでは、レーザセンサなどのスキャンデータを微小なグリッドに分けて、比較していきます。高速
SLAMでは、大き目なグリッドを設定しデータの分布を比較することで、マッチングの計算量を減らし、処理を高
速化します。
①一般的なSLAM（スキャンマッチング）
②高速SLAM
• 数十㎝のグリッドを設定
• 一つ前の情報と最も近
いところを見つけマッチ
ングを繰り返す
• 数mのグリッドを設定
• グリッド内の分布（二次元正規
分布）単位でマッチング
ローカルマップ
（スキャンして得られた周囲情報）
グローバルマップ
（走行エリア全体）
新しい
座標と
マップ
マッチン
グミス
繰り返し
（ミスなく
なるまで）
©2014 ZMP Inc. All Rights Reserved.
計算処理時間の比較（イメージ）
処理時間
①スキャン
マッチング
SLAM
②高速
SLAM
レーザ
スキャン
正規分布化
マッチング
28
マーカを用いた指定範囲の自律走行
• 自律走行させたいエリアの四隅にマーカ（ビーコン）を設置
• 移動体にカメラを取り付けてマーカを検出（ビーコンを受信）
• マーカの位置関係とマーカからの信号により自己位置を計算
Receiver (Quad Camera)
Beacon
TOPVIEW
Localization
(schematic view)
SIDEVIEW
LED (IR)
CPU
Battery
ID = 1
> 90 deg
ID = 2
FPGA
Camera x4
CPU
CAN i/f
ID = 4
ID = 3
©2014 ZMP Inc. All Rights Reserved.
29
外部カメラによる自己位置検出
Camera
• 環境に設置された外部カメラ(監視カメラのような
もの)によって車両の行動範囲の画像を取得する。
• 取得した動画から、画像処理を行うことで車両本
体の位置を特定する。
PC
Camera
WiFi
Field
Vehicle
©2014 ZMP Inc. All Rights Reserved.
30
Visual SLAMによる自己位置検出
• 画像中のコーナーを検出し、強度が大きな箇所を、特徴点として抽出、選択する。
• P0とΔt後のP1それぞれ得られた特徴点から、対象のオブジェクトが存在するエリアが確率的に得られる。と同時
に、自己の位置も確率的に特定される。
• 対象物の位置と自己位置を、共に、推定と観測による補正を繰り返し、精度をあげていく。
Camera
Vehicle
P0 での特徴点
P0
P1 での特徴点
Δt
P1
VSLAMのイメージ
ランドマーク（特徴点）
©2014 ZMP Inc. All Rights Reserved.
31
自動運転・運転支援研究開発を支援するサービス
©2014 ZMP Inc. All Rights Reserved.
32
開発支援（１／２）
ZMPのカー・ロボティクス技術、自動運転技術やその開発過程で派生した技術をもとに、自動車及び部品
メーカの研究開発を支援します。
ロボティクス
•ローカリゼーション
（自己位置推定）
RoboCar®PHV/HV
プ
ラ
ッ
ト
フ
ォ
ー
ム
RoboCar®MV,MV2
•マッピング
•プランニング
•トラッキング
•SLAM
•画像認識
•機械学習
•データマイニング な
ど
ご要望に
合った製品
・システム
の開発
経路計画
(MATLAB/Simulink)
HoG
OpticalFlow
セ
ン
シ
ン
グ
ステレオカメラ/単眼カメラ
RoboCar®1/10
倒立二輪/独立二輪
•メカ設計 •組込み •データベース
位置・モーション
加速度/ジャイロ/地磁気
•回路設計 •制御 •クラウド
GPS/気圧/温度/湿度
•マイコン •通信 •ユーザインタフェースなど
（Windows/Linux/Android/iOSなど）
•FPGA
ハード/ソフト技術
生体センサ
（NIRS/脳波/心電/筋
電）
＜実績例＞
・ステレオカメラ、単眼カメラを使った自動運転 （トラック・自動車メーカ）
・リアカメラを使った自動駐車 （自動車メーカ）
・特殊車両の自動走行システム （自動車メーカ）
・車車間通信システム （自動車メーカ）
・車両の遠隔操縦支援システム （官公庁）
・走行実験データのリアルタイムモニタリングシステム （車載機器メーカ） 等
©2014 ZMP Inc. All Rights Reserved.
33
開発支援（２／２）
•
自動車メーカ、部品メーカの製品やシステムを評価するため、
実車をテストコースや公道で走らせ、走行データを収集する
アウトソーシング・サービスです。
•
FOT（Field Operational Tests）事業を国内外へ拡大。
専門家
分野第一線の
先生・研究者
ZMP
ロボットカー・センシング
システム開発の知見
ユーザー
研究開発担当者
RoboTest
®
実車実験
による
データ収
集
新車開発
や改良へ
データ計測例
（上段：実際の画像
／下段左：レーザセンサ／下段右：ミリ波レーダ）
©2014 ZMP Inc. All Rights Reserved.
34
実車実験 取得データ例
vital sensors
運転者・同乗者の状態 車内の様子（例）
車両の状態・運
転者の動き
CANデータ(CSV)
©2014 ZMP Inc. All Rights Reserved.
周囲環境データ
周囲環境の状態
35
コネクティッド・カー事業
メーカ、車種問わず全てのクルマをインターネットで
つなげ、車載データを活用した新サービスの創出を
狙います。
個人や法人に対し、安全支援、エコ走行支援、エン
ターテインメント等の新しいサービス提供を行います。
•
ZMPは、端末の開発・販売を行う。
データベース
•
車載情報を、クラウド上でビッグデータ処理し、
その加工データのトランザクションで課金する情
スマートフォン
/タブレット
3G/LTE
Bluetooth
報サービス会社（株）カートモ（ZMP51%:JVC
KENWOOD49%）が担う。
送受信機
「カートモ® UP」
©2014 ZMP Inc. All Rights Reserved.
診断用コネクタ
OBDII
車載
ネットワーク
36
Robot of Everything
ロボット技術
自律移動技術
建設機械
©2014 ZMP Inc. All Rights Reserved.
自動運転技術
物流
農業用機械
37
新製品：物流支援ロボット「CarriRoTM（キャリロ）」
• 汎用台車をロボット化
• 人手不足の解消・生産性向上・労働環境改善に
①アシスト機能
③自律移動（イメージ）
©2014 ZMP Inc. All Rights Reserved.
②かるがも機能
機械部品トップ企業
ロボット企業
THK
ZMP
日本電産シンポ
 しずか・頑丈・長持ち
＋
 人をアシスト
 自動で移動
東京藝術大学
＋
 工業デザイン
 ワークスタイルデザ
イン
38
株式会社ゼットエムピー 営業部
西村 明浩
〒112-0002 東京都文京区小石川5-41-10住友不動産小石川ビル6F
TEL： 03（5802）6901 FAX： 03（5802）6908 URL： http://www.zmp.co.jp E-Mail： [email protected]
©2014 ZMP Inc. All Rights Reserved.
39