Human Motion Capture with Sparse Inertial Sensors and Video

Produktbeschreibung

This thesis explores approaches to capture human motions with a small number of sensors. In the first part of this thesis an approach is presented that reconstructs the body pose from only six inertial sensors. Instead of relying on pre-recorded motion databases, a global optimization problem is solved to maximize the consistency of measurements and model over an entire recording sequence. The second part of this thesis deals with a hybrid approach to fuse visual information from a single hand-held camera with inertial sensor data. First, a discrete optimization problem is solved to automatically associate people detections in the video with inertial sensor
data. Then, a global optimization problem is formulated to combine visual and inertial information.
The propose  approach enables capturing of multiple interacting people and works even if many more people are visible in the camera image. In addition, systematic inertial sensor errors can be compensated, leading to a substantial increase in accuracy.

Contents
1 Introduction 1
1.1 A Brief History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 The MoCap Problem . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 State of the Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4.1 Vision-based . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4.2 IMU-based . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.4.3 Hybrid Approaches . . . . . . . . . . . . . . . . . . . . . . . 10
1.4.4 Other Sensor Modalities . . . . . . . . . . . . . . . . . . . . 11
1.5 Contributions and Outline . . . . . . . . . . . . . . . . . . . . . . . 12
2 Fundamentals 18
2.1 Rigid Body Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.1 SO(3) and SE(3): Rigid Body Transformations . . . . . . . . 19
2.1.2 Exponential Coordinates . . . . . . . . . . . . . . . . . . . . 21
2.1.3 Differentiation . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Human Motion Modeling . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.1 Kinematic Chains . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.2 Pose Parametrization . . . . . . . . . . . . . . . . . . . . . . 27
2.2.3 SMPL Body Model . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.4 Pose Differentiation . . . . . . . . . . . . . . . . . . . . . . . 30
2.3 Non-Linear Least-Squares Optimization . . . . . . . . . . . . . . . . 31
2.3.1 Gauss-Newton Algorithm . . . . . . . . . . . . . . . . . . . . 32
2.3.2 Levenberg-Marquardt Algorithm . . . . . . . . . . . . . . . 33
2.3.3 Optimization on SO(3) and SE(3) . . . . . . . . . . . . . . . 33
2.4 Inertial Measurement Units . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 Coordinate Frames . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.2 Measurement Models . . . . . . . . . . . . . . . . . . . . . . 37
2.4.3 Orientation Estimation . . . . . . . . . . . . . . . . . . . . . 38
2.4.4 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.5 Benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.5.1 Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.5.2 Accuracy Metrics . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5.3 Ground-Truth Poses . . . . . . . . . . . . . . . . . . . . . . 43
3 Sparse Inertial Poser 45
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.1 Body Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.2 IMU Placement . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 Coordinate Systems . . . . . . . . . . . . . . . . . . . . . . . 50
3.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.1 The Orientation Term . . . . . . . . . . . . . . . . . . . . . 52
3.3.2 The Acceleration Term . . . . . . . . . . . . . . . . . . . . . 52
3.3.3 The Anthropometric Term . . . . . . . . . . . . . . . . . . . 53
3.3.4 Energy Minimization . . . . . . . . . . . . . . . . . . . . . . 54
3.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.1 Tracker Setup . . . . . . . . . . . . . . . . . . . . . . . . . . 56
3.4.2 Evaluation on TNT15 . . . . . . . . . . . . . . . . . . . . . 58
3.4.3 Evaluation on TotalCapture . . . . . . . . . . . . . . . . . . 63
3.4.4 Qualitative Results . . . . . . . . . . . . . . . . . . . . . . . 66
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4 Video Inertial Poser 70
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2 Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2.1 Body Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2.2 Camera Model . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.2.3 Coordinate Frames . . . . . . . . . . . . . . . . . . . . . . . 75
4.2.4 Heading Drift . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.5 Visual Cues: 2D Poses . . . . . . . . . . . . . . . . . . . . . 78
4.3 Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.1 Initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.2 Pose Candidate Assignment . . . . . . . . . . . . . . . . . . 80
4.3.3 Video-Inertial Data Fusion . . . . . . . . . . . . . . . . . . . 82
4.3.4 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.4 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.1 Tracker Setup . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4.2 Evaluation on TotalCapture . . . . . . . . . . . . . . . . . . 86
4.4.3 Evaluation on 3DPW . . . . . . . . . . . . . . . . . . . . . . 93
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5 Conclusions 99
Bibliography 103

Keywords: Human Pose Estimation, Inertial Sensors, Video, Non-static Camera, Modelbased Optimization, Sparse Sensors,