Object-Level Fusion for Surround Environment Perception in Automated Driving Applications

Produktbeschreibung

Driver assistance systems have increasingly relied on more sensors for new functions. As advanced driver assistance system continue to improve towards automated driving, new methods are required for processing the data in an efficient and economical manner from the sensors for such complex systems. In this thesis, an environment model approach for the detection of dynamic objects is presented in order to realize an effective method for sensor data fusion. A scalable high-level fusion architecture is developed for fusing object data from several sensors in a single system. The developed high-level sensor data fusion architecture and its algorithms are evaluated using a prototype vehicle equipped with 12 sensors for surround environment perception. The work presented in this thesis has been extensively used in several research projects as the dynamic object detection platform for automated driving applications on highways in real traffic.

Contents
Abbreviations VIII
List of Symbols X
Abstract XV
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Automation in Driver Assistance and Safety Systems . . . . . . . . . . . . 3
1.2.1 Level 0 { No Automation . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Level 1 { Driver Assistance . . . . . . . . . . . . . . . . . . . . . . 7
1.2.3 Level 2 { Partial Automation . . . . . . . . . . . . . . . . . . . . . 8
1.2.4 Level 3 { Conditional Automation . . . . . . . . . . . . . . . . . . . 9
1.2.5 Levels 4 and 5 { Towards Fully Automated Driving . . . . . . . . . 15
1.3 Problem of Object Detection . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4 Contribution and Outline of the Thesis . . . . . . . . . . . . . . . . . . . . 23
2 Sensor Data Fusion Architectures 27
2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1.1 Low-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.1.2 High-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.1.3 Hybrid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.1.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2 Proposed Modular Sensor Data Fusion Architecture . . . . . . . . . . . . . 38
2.2.1 Object Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.2.2 Sensor-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2.3 Fusion-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2.4 Application-Level . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3 Fusion Strategy and Object Association 46
3.1 Data Alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.1 Spatial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1.2 Temporal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.2 Fusion Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.1 Sensor-to-Sensor . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.2.2 Sensor-to-Global . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3 Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.2 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.3.3 State Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.3.4 Geometrical . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

3.3.5 Association Validation . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.3.6 Multi-Object Association . . . . . . . . . . . . . . . . . . . . . . . . 60
4 State and Covariance 64
4.1 Sensor-Level Processing with Tracking Algorithms . . . . . . . . . . . . . . 64
4.1.1 Feature Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.2 Data Association . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.3 Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
4.1.4 Track Management . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.1.5 Kinematic Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2 Correlation and Sequence of Sensor Data . . . . . . . . . . . . . . . . . . . 69
4.2.1 Process Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.2 Common Information History . . . . . . . . . . . . . . . . . . . . . 71
4.2.3 Out-of-Sequence Data . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Track-to-Track Fusion with the Common State . . . . . . . . . . . . . . . . 73
4.3.1 Adapted Kalman Filter . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.2 Covariance Intersection . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.3 Information Matrix Fusion . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Geometrical Fusion using the Object Model . . . . . . . . . . . . . . . . . 86
4.4.1 Dimension Estimation . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.4.2 Extraction of Fused Coordinates . . . . . . . . . . . . . . . . . . . . 90
5 Existence Probability 93
5.1 Sensor-Level Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.1.1 Existence Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.1.2 Existence Update . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.1.3 Generalized Bayes Extension . . . . . . . . . . . . . . . . . . . . . . 97
5.1.4 Modeling the Parameters . . . . . . . . . . . . . . . . . . . . . . . . 98
5.1.5 Object Management . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.2 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
5.2.2 Modeling with Dempster-Shafer Evidence Theory . . . . . . . . . . 105
5.2.3 Extension for Occlusion Modeling . . . . . . . . . . . . . . . . . . . 110
5.2.4 Modeling the Trust Probability . . . . . . . . . . . . . . . . . . . . 114
6 Classication 116
6.1 Sensor-Level Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
6.1.1 Measurement Classication . . . . . . . . . . . . . . . . . . . . . . 117
6.1.2 Temporal Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2 Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.2.1 Modeling with the Dempster-Shafer Evidence Theory . . . . . . . . 125
6.2.2 Modeling the Trust Probability . . . . . . . . . . . . . . . . . . . . 130
7 Evaluation 133
7.1 Test Vehicle and Sensor Conguration . . . . . . . . . . . . . . . . . . . . 133

7.2 Overtaking Maneuver with Ground Truth . . . . . . . . . . . . . . . . . . 135
7.2.1 Ground Truth Calculation . . . . . . . . . . . . . . . . . . . . . . . 136
7.2.2 State Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7.2.3 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.2.4 Classication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
7.3 Performance in Real Trac Scenarios . . . . . . . . . . . . . . . . . . . . . 141
7.3.1 Detection Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
7.3.2 Classication Performance . . . . . . . . . . . . . . . . . . . . . . . 146
7.3.3 Integration in Automated Driving and ADAS Projects . . . . . . . 149
8 Conclusion and Discussion 152
A Synchronous Track-to-Track Fusion Algorithms 155
A.1 Simple Weighted Fusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
A.2 Use of Cross-Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
A.3 Covariance Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
A.4 Comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
B Information Matrix Fusion Derivation 162
C Determining the Trust Probability 164
C.1 Existence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
C.2 Classication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
D Evaluation Scenario Descriptions 167
D.1 Training Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2 Evaluation Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2.1 Test Track . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
D.2.2 Real Trac . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
References 172

Keywords: Sensor Fusion, Perception, Autonomous Driving, Driver Assistance, Track-to-Track / Fusion, Tracking, Object Detection, Sensor Fusion, Perception, Autonomous Driving, Driver Assistance, Track-to-Track / Fusion, Tracking, Object Detection