Kameras im Innenraum analysieren Aktivitäten von Fahrern und Insassen
Kameras im Innenraum von Fahrzeugen können die Aktivitäten der Insassen bewerten – ein wichtiges Merkmal bei zunehmender Automatisierung. Das zeigt jetzt ein neues System von Karlsruher Fraunhofer-Forschern. Es wurde mit KI trainiert und soll zugleich den Datenschutz berücksichtigen.
Foto: © M. Zentsch/Fraunhofer IOSB
Auf dem Weg zum autonomen Fahren durchlaufen Fahrzeuge noch verschiedene Stufen der Teilautomatisierung. Level 3, Level 4 – bis Fahrzeuge gänzlich auf einen Fahrer verzichten können, werden intelligente Assistenzsysteme die Wagenlenker unterstützen und ihnen zunehmend mehr Freiheiten verleihen.
Beim teilautomatisierten Fahrzeugen sind Übergaben zwischen Auto und Fahrer nötig, etwa bei einer Baustelle auf der Autobahn oder beim Übergang in den Stadtverkehr nach einer Autobahnfahrt. Das Fahrzeug muss also nicht nur intelligent werden, um den Verkehr zu interpretieren, sondern auch nach innen schauen und mit dem Fahrer bzw. der Fahrerin in den Dialog treten.
System erkennt die Posen der Fahrer im Auto
Ist der Fahrer müde? Ist die Fahrerin gerade mit ihrem Navigationsgerät beschäftigt? Wie schnell könnte die Steuerung des Fahrzeugs übernommen werden? Zwar gibt es bereits Fahrerbeobachtungssysteme, diese nutzen jedoch bisher kaum Kamerabilddaten und beschränken sich vorwiegend auf die Erkennung von Müdigkeit.
Dem Dialog zwischen Fahrer und Auto widmen sich Forscherinnen und Forscher des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung kurz IOSB. „Mit unserer Technologie erkennen wir nicht nur das Gesicht, sondern vielmehr die aktuellen Posen des Fahrers und der Mitfahrer“, erklärt Michael Voit, Gruppenleiter am IOSB. „Aus diesen Posen wiederum können wir zuverlässig bestimmen, womit sich Fahrer und Insassen gerade beschäftigen.“
KI hilft bei der Bewertung der Aktivitäten
Der Kern der Entwicklung liegt in Algorithmen und Verfahren des maschinellen Lernens, also der Künstlichen Intelligenz. Die Algorithmen analysieren die Kameradaten in Echtzeit und finden heraus, ob der Fahrer telefoniert, mit den Kindern spielt oder auf das Handy des Mitfahrers schaut.
Die Technologie des Fraunhofer IOSB geht damit über die reine Bilderkennung hinaus und interpretiert Aktivitäten im Kontext. Forscherinnen und Forscher haben das System zunächst angelernt, indem sie zahlreiche Kameraaufnahmen per Hand hinzufügten und bewerteten: Wo befinden sich Hände, Füße, Schultern der Personen, wo sind Objekte wie Smartphones, Bücher & Co. zu erkennen? Anschließend evaluierten sie die Algorithmen mit neuen Bildern und korrigierten oder verifizierten deren Ergebnisse.
Datenschutz inklusive
Was zunächst nach totaler Überwachung klingt, ist allerdings alles andere als das: Datenschutz- und Sicherheitsaspekte haben die Fraunhofer-Mitarbeiter gleich mitgedacht. „Die Kameradaten werden in Echtzeit ausgewertet, nicht gespeichert und verlassen zu keinem Zeitpunkt das Fahrzeug“, betont Pascal Birnstill, Senior Scientist am IOSB. „Personalisierte Modelle werden dafür ebenso wenig benötigt – somit werden keine personenbezogenen Daten gesammelt.“
Aufnahmen des Fahrers und der Insassen abstrahiert das System zu einem digitalen Skelett – einer Art Strichmännchen, das die Körperpose der Person nachbildet. Aus der Skelettbewegung und einer ergänzenden Objekterkennung wiederum schließt es auf die Aktivität. „Die Algorithmen wissen also, ob jemand schläft oder auf die Straße blickt, wie abgelenkt die Person ist und wie lange es dauert, bis die volle Aufmerksamkeit wieder auf den Verkehr gerichtet werden kann“, erläutert Voit. Hierfür werden sowohl klassische Videokameras unterstützt als auch Infrarotkameras, die im Dunkeln sehen können, sowie 3-D-Kameras, die die Entfernung der Objekte zur Kamera messen.
Forscher und Autohersteller arbeiten zusammen
Für die Aktivitätserkennung im Fahrzeuginnenraum arbeiten die Forscherinnen und Forscher in zahlreichen Verbundprojekten mit namhaften Autoherstellern wie Audi und Volkswagen zusammen. Aber auch Zulieferer wie Bosch und Continental sind mit von der Partie. Die Projekte werden vom Bundesforschungsministerium, dem Wirtschafts- und natürlich dem Verkehrsministerium unterstützt. „Die Technologie ist bereit für die Vorserie. Wir stehen schon im ersten Kontakt mit Unternehmen, die unsere Technologie nutzen wollen“, erklärt Voit.
Bindeglied der Entwicklungen ist der institutseigene Fahrsimulator, mit dem auch Industriekunden arbeiten. Dank simulierbarer Verkehrssituationen bietet er die Grundlage für das Sammeln relevanter Fahrt- und Verhaltensdaten und ermöglicht mit seiner umfangreichen Sensorausstattung Studien für alle Insassen.
Wie wichtig Aktivitätserkennungen sind, zeigt eine Verordnung der EU: Das „Driver Monitoring“ soll bei der Automatisierung des Autos verpflichtend werden. Mit der Technologie aus dem Fraunhofer IOSB können Fahrzeughersteller nicht nur diese Richtlinie erfüllen, sondern zudem zahlreiche Visionen in puncto autonomes Fahren Realität werden lassen.
