iWindow – Intelligentes Maschinenfenster

Produktbeschreibung

Das Verbundforschungsprojekt iWindow: Intelligentes Maschinenfenster beschäftigte sich mit der visuellen Unterstützung von Maschinenbedienern an Werkzeugmaschinen. Diese konnten bisher nur auf wenige bis keine Systeme, die sie bei ihren täglichen Aufgaben direkt an der Werkzeugmaschine unterstützen, zurückgreifen. Das Forschungsprojekt verbindet reale und virtuelle Welt in der Werkzeugmaschine durch Technologien wie Virtual und Augmented Reality, digitaler Zwilling, Simulation und Mehrwertdienste. Durch Nutzung jeweils für die aktuelle Arbeitssituation passender Dienste, werden Mitarbeiter befähigt, sich an die steigende Individualisierung der Produkte und die flexiblere Produktion anzupassen. Kunden und Geschäftspartner werden durch die Möglichkeit eigene mehrwertgenerierende Dienste zu entwickeln und anderen Anwendern zur Verfügung zu stellen in den Wertschöpfungsprozess eingebunden. Diese Publikation beleuchtet die im Rahmen des Forschungsprojekts erarbeiteten.

Inhaltsverzeichnis

1 Motivation und Konzept ……………………………………………………………………………………….. 1
Motivation und Zielstellung …………………………………………………………………………….. 1
Konzept ………………………………………………………………………………………………………… 6
2 Ergebnisse aus Demonstratorensicht ……………………………………………………………………… 9
Einleitung ……………………………………………………………………………………………………… 9
Kameraauswahl und -kalibrierung ………………………………………………………………….. 10
Absortierassistent ………………………………………………………………………………………… 12
Kamerabasierte Überlagerung an einem Roboter ……………………………………………. 14
Kamerabasierte Überlagerung an Werkzeugmaschinen ……………………………………. 14
Perspektivische Überlagerung am transparenten LCD ……………………………………… 16
Perspektivische Überlagerung am transparenten OLED Display ………………………… 18
Finaler Demonstrator Werkzeugmaschine ………………………………………………………. 20
2.8.1 Echtzeitvisualisierung im Bedienpanel ……………………………………………………… 20
2.8.2 Perspektivische VR-Echtzeitvisualisierung an herkömmlichen Displays………… 20
2.8.3 Augmented Reality mittels transparenter Displays ……………………………………. 22
3 Unterstützung beim Absortiervorgang in der Blechfertigung …………………………………… 25
Ausgangssituation und Zielsetzung ………………………………………………………………… 25
Absortierassistenz mittels kamerabasierter Entnahmedetektion ………………………. 27
Erfassung des Absortierbereichs mit Kameras …………………………………………………. 28
Ermittlung der ebenen Bildszene auf Basis der Kamerabilder ……………………………. 29
Erfassung der Tafelgeometrie auf Basis des NC-Programms ……………………………… 31
Nachweis der Funktionsfähigkeit des Assistenzsystems ……………………………………. 32
4 Dynamisch erweiterbares Framework für Mehrwertdienste ……………………………………. 34
Motivation und Anforderungen …………………………………………………………………….. 34
4.1.1 Anforderungen an die Gestaltung eines erweiterbaren Plug-In-Systems ……… 37
4.1.2 Anforderungen an Sicherheit und Zugriffsrechte von Diensten …………………… 37
4.1.3 Anforderungen an Entwicklung und Vertrieb von Diensten ………………………… 37
Mehrwertdienste …………………………………………………………………………………………. 38
4.2.1 Basisdienste ………………………………………………………………………………………….. 38

4.2.2 Mehrwertdienste ………………………………………………………………………………….. 39
4.2.3 Metadaten ……………………………………………………………………………………………. 40
4.2.4 Gestaltung unabhängiger Dienste ……………………………………………………………. 40
Kommunikation zwischen Diensten ……………………………………………………………….. 42
Literaturverzeichnis ……………………………………………………………………………………… 46
5 Datenmodell und Steuerungsanbindung über OPC UA ……………………………………………. 47
Einleitung ……………………………………………………………………………………………………. 47
Ausgangslage und Problemstellung ……………………………………………………………….. 47
Datenmodell ……………………………………………………………………………………………….. 49
5.3.1 Grundlagen OPC UA Adressraum …………………………………………………………….. 49
5.3.2 Informationsmodelle für CNC-Steuerungen ……………………………………………… 50
5.3.3 OPC UA VDW Companion Specification ……………………………………………………. 52
Steuerungsanbindung über OPC UA……………………………………………………………….. 54
5.4.1 OPC UA VDW Companion Specification – Evaluierung mit Prototypen ………… 54
5.4.2 Echtzeitdaten über OPC UA ……………………………………………………………………. 55
Ergebnisse und Ausblick ……………………………………………………………………………….. 58
Literaturverzeichnis ……………………………………………………………………………………… 59
6 Visualisierung des Maschineninnenraums mit VR & AR …………………………………………… 61
Darstellungsarten ………………………………………………………………………………………… 61
Virtuelles Modell des Maschineninnenraums ………………………………………………….. 63
Synchronisierung mit aktuellen Maschinendaten …………………………………………….. 65
Kamerabasierte AR ………………………………………………………………………………………. 67
6.4.1 Beschreibung der Kameraperspektive ……………………………………………………… 67
6.4.2 Überlagerung des Kamerabilds mit virtuellen Inhalten ………………………………. 69
6.4.3 Verdeckungsberechnung………………………………………………………………………… 70
Berücksichtigung der Betrachterperspektive …………………………………………………… 71
6.5.1 Nachbildung des realen Displays durch ein virtuelles Display ……………………… 72
6.5.2 Erfassung der Position des Betrachters mittels Head- bzw. Eye-Tracking ……… 73
6.5.3 Berechnung der zur Darstellung benötigten perspektivischen Parameter ……. 74
Literaturverzeichnis ……………………………………………………………………………………… 76
7 Kalibrierung von Kameras in Werkzeugmaschinen …………………………………………………. 78

Einleitung und Zielsetzung …………………………………………………………………………….. 78
Grundlagen der Kamerakalibrierung ………………………………………………………………. 78
Anforderungen ……………………………………………………………………………………………. 86
7.3.1 Arbeitsräume der Werkzeugmaschinen …………………………………………………… 88
7.3.2 Bildaufnahme ……………………………………………………………………………………….. 89
7.3.3 Kalibrierungsprozess ……………………………………………………………………………… 90
Evaluierung der Methoden zur Kamerakalibrierung …………………………………………. 90
7.4.1 Kalibrierverfahren in OpenCV …………………………………………………………………. 90
7.4.2 MATLAB Camera Calibration Toolkit ………………………………………………………… 92
7.4.3 Kalibrierung von ToF-Kameras ………………………………………………………………… 93
7.4.4 Versuch der Kalibrierung auf Palette in Laserschneidmaschine (extrinsisch) … 94
7.4.5 Versuch der Kalibrierung in der SW Maschine (extrinsisch) ………………………… 96
Kalibrierung eines 1-Kamerasystems ……………………………………………………………… 97
Kalibrierung eines Multi-Kamerasystems ………………………………………………………… 98
7.6.1 Vorgehen ……………………………………………………………………………………………. 100
7.6.2 Finden der LED Projektionen …………………………………………………………………. 101
7.6.3 Der MultiCamCalib Algorithmus ……………………………………………………………. 103
Literaturverzeichnis ……………………………………………………………………………………. 104
8 Echtzeit-Maschinensimulation und der Nutzen von Mehrwertdiensten ………………….. 106
Ziele………………………………………………………………………………………………………….. 106
Echtzeit-Machinensimulation ………………………………………………………………………. 107
Überlagerungsberechnung ………………………………………………………………………….. 110
Kollisionsvermeidung………………………………………………………………………………….. 111
Mehrwertdienste ……………………………………………………………………………………….. 112
8.5.1 Bahnvisualisierung inklusive Überdeckungsberechnung …………………………… 112
8.5.2 Werkstück- und Werkzeugkonturvisualisierung ………………………………………. 112
8.5.3 Perspektivische Visualisierung ………………………………………………………………. 113
Ausblick …………………………………………………………………………………………………….. 113
Literaturverzeichnis ……………………………………………………………………………………. 114
9 Steuerungsgekoppelte Vorab-Überprüfung des Bearbeitungsprozesses …………………. 115
Steuerungsanbindung mittels OPC UA ………………………………………………………….. 116

Visualisierung …………………………………………………………………………………………….. 117
9.2.1 3D-Stereo……………………………………………………………………………………………. 117
9.2.2 Perspektivische Darstellung als Fenster ………………………………………………….. 117
9.2.3 Oberflächeneigenschaften ……………………………………………………………………. 119
Modellierung und Simulation von Werkstücken, Werkzeugen und Magazinen …. 121
Technische Integration & Anwendung von Mehrwertinformationen ……………….. 124
9.4.1 Abtragsimulation …………………………………………………………………………………. 124
9.4.2 Spurbildung ………………………………………………………………………………………… 124
9.4.3 Kollisionserkennung …………………………………………………………………………….. 126
9.4.4 Schnelle Kommunikation………………………………………………………………………. 127
Literaturverzeichnis ……………………………………………………………………………………. 128
10 3D-Rekonstruktion ………………………………………………………………………………………… 129
Einleitung und Zielsetzung …………………………………………………………………………… 129
Evaluierung der Methoden zur 3D-Rekonstruktion ………………………………………… 130
10.2.1 Stereo-Kameras …………………………………………………………………………………… 130
10.2.2 ToF-Kameras ……………………………………………………………………………………….. 131
10.2.3 Structured Light Scanner ………………………………………………………………………. 133
Framework für Computer Vision ………………………………………………………………….. 135
3D-Rekonstruktion in der Werkzeugmaschine ……………………………………………….. 138
Literaturverzeichnis ……………………………………………………………………………………. 139

Keywords: Augmented Reality, Virtual Reality, Visualisierung, Maschinenfenster, Mehrwertdienste, Assistenzsysteme, Simulation, Mensch-Maschine-Schnittstelle, Kamerakalibrierung, Digitaler Zwilling, Augmented Reality, Virtual Reality, Visualisierung, Maschinenfenster, Mehrwertdienste, Assistenzsysteme, Simulation, Mensch-Maschine-Schnittstelle, Kamerakalibrierung, Digitaler Zwilling