Unsupervised Domain Adaption for Real-World Head Pose Estimation from Synthetic Data

Produktbeschreibung

Diese Disse tation beschäftigt sich mit der bildbasierten Kopfposenschätzung mittels Deep Learning und Lernen aus synthetischen Daten. Synthetische Daten bieten viele Vorteile gegenüber realen Daten, die aufwendig in der realen Welt gesammelt werden müssen. Allerdings erreicht Deep Learning mit synthetischen Daten oft nicht die Genauigkeit, die mit realen Daten erreicht werden könnte. Um dieses Problem zu lösen, werden in dieser Arbeit zwei Methoden zur unüberwachten Domänenadaption vorgestellt. Diese verbessern die Genauigkeit, die durch Training mit synthetischen Daten auf realen Daten erreicht werden kann, erheblich. Darüber hinaus wird in dieser Arbeit der Einfluss verschiedener Faktoren auf die Bewertung von Schätzalgorithmen für Kopfposen analysiert.

Contents
1 introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Challenges in Domain Adaptation with Synthetic Data
and Continuous Label Spaces . . . . . . . . . . . . . . . . . 4
1.3 Objectives and Contributions . . . . . . . . . . . . . . . . . 7
1.4 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 fundamentals 11
2.1 Machine Learning with Deep Neural Networks . . . . . . 11
2.2 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Domain Adaptation . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 Domain Gap and Negative Transfer . . . . . . . . . 19
2.3.2 Domain Adaptation Risks and Transfer Gain . . . 21
2.4 Deep Visual Domain Adaptation . . . . . . . . . . . . . . . 23
2.5 Head Pose Estimation . . . . . . . . . . . . . . . . . . . . . 24
2.5.1 Applications and Synthetic Data . . . . . . . . . . . 25
2.5.2 Head Pose . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5.3 State of the Art . . . . . . . . . . . . . . . . . . . . . 27
3 partial adversarial domain adaptation for continuous
label spaces 31
3.1 Adversarial Domain Adaptation . . . . . . . . . . . . . . . 31
3.2 Adversarial Domain Adaptation for Continuous Label Spaces 36
3.2.1 DANN for regression . . . . . . . . . . . . . . . . . 37
3.2.2 PADA-Like . . . . . . . . . . . . . . . . . . . . . . . 37
3.2.3 PADACO . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3 Practical Implementation . . . . . . . . . . . . . . . . . . . 41
3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4 domain adaptation using relative pose consistency 45
4.1 Semi-Supervised Learning for Domain Adaptation . . . . 46
4.2 Framework for Relative Pose Consistency . . . . . . . . . . 47
4.2.1 Consistency Regularization . . . . . . . . . . . . . . 48
4.2.2 Relative Pose Consistency . . . . . . . . . . . . . . . 50
4.2.3 Avoiding Degenerate Solutions . . . . . . . . . . . 53
4.2.4 Batch Normalization During Cross-Domain Training 55
4.3 Practical Implementation . . . . . . . . . . . . . . . . . . . 56
4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5 evaluation 61
5.1 Evaluation Protocols . . . . . . . . . . . . . . . . . . . . . . 62
5.2 Evaluation Datasets . . . . . . . . . . . . . . . . . . . . . . . 64
5.2.1 SynHead++, SynBiwi+, Biwi+ . . . . . . . . . . . . 64
5.2.2 300W-LP . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2.3 Dataset Distributions . . . . . . . . . . . . . . . . . 68
5.3 Comparability of Head Pose Estimation Results . . . . . . 69
5.3.1 Influence of Face Detector . . . . . . . . . . . . . . 74
5.3.2 Influence of Pose Representation . . . . . . . . . . 78
5.3.3 Influence of Pose Offset . . . . . . . . . . . . . . . . 79
5.3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . 81
5.4 Domain Adaptation for Head Pose Estimation . . . . . . . 82
5.4.1 Experimental Details . . . . . . . . . . . . . . . . . 82
5.4.2 Experiments and Results . . . . . . . . . . . . . . . 86
5.4.3 Comparison . . . . . . . . . . . . . . . . . . . . . . . 91
5.4.4 Ablation Studies: Consistency Regularization . . . 92
5.4.5 Limitations and Methodology Criticism . . . . . . 96
6 conclusion 99
a appendix 103
a.1 Additional Tables . . . . . . . . . . . . . . . . . . . . . . . . 103
a.2 Additional Figures . . . . . . . . . . . . . . . . . . . . . . . 109
bibliography 111
publications of felix konstantin kuhnke 129

Keywords: Kopfposenschätzung, Domänenadaption, synthetische Daten, Deep Learning, Regression, head pose estimation, domain adaptation, synthetic data, deep learning, regression