Prozessführungskomponenten für die Integration von Machine Learning Modellen in die operative Prozessführung

Produktbeschreibung

In der Forschung finden sich vermehrt Anwendungsbeispiele des maschinellen Lernens. Einige der trainierten Modelle avisieren die direkte Steuerung oder Regelung von technischen Prozessen. Bei der Integration in industrielle Systeme ergeben sich jedoch Herausforderungen. Meist werden Lösungen individuell an das Prozessleitsystem angepasst und sind daher nicht interoperabel. In dieser Arbeit wird der Ansatz beschrieben, die Lösungen als Dienste standardisierter Komponenten zur Prozessführung zu kapseln. Ein Entwurfsmuster zeigt, wie die Herausforderungen adressiert werden und so eine schrittweise Integration sowie einheitliche Orchestrierung möglich wird. Zur Validierung wurde eine Simulation eines Transportprozesses in Unity erstellt und ein Neuronales Netz mit PyTorch trainiert. Anschließend wurde die Lösung in das Prozessleitsystem ACPLT/RTE integriert. Diese Arbeit richtet sich daher gleichermaßen an Ingenieur*innen und Wissenschaftler*innen der Automatisierung sowie der künstlichen Intelligenz.

Inhaltsverzeichnis
Abkurzungen ¨ IX
Kurzfassung XI
Abstract XI
1 Einleitung 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Zielsetzung und L¨ osungsansatz . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Kontext der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.4 Aufbau der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Grundlagen der Prozessfuhrung und des Machine Learning 4 ¨
2.1 Kybernetisches Fuhrungsmodell in der Automation . . . . . . . . . . . . . ¨ 4
2.1.1 Steuerndes und gesteuertes System im Zweiweltenmodell . . . . . . 4
2.1.2 Bildung von Softaktoren . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.3 Technische Komponente . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.4 Komponenten zur Prozessfuhrung . . . . . . . . . . . . . . . . . . . ¨ 7
2.1.5 Komponentenbasierte Fuhrungsarchitektur . . . . . . . . . . . . . . ¨ 9
2.2 Kunstliche Intelligenz und maschinelles Lernen . . . . . . . . . . . . . . . . ¨ 11
2.2.1 Architektur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2.2 Trainingsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.3 Entwicklungsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.4 Allgemeine Problemstellungen . . . . . . . . . . . . . . . . . . . . . 16
2.2.5 Best¨ arkendes Lernen . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2.6 Einbettung in die Prozessfuhrung . . . . . . . . . . . . . . . . . . . ¨ 20
2.3 Randbedingungen in der Produktion . . . . . . . . . . . . . . . . . . . . . 21
2.3.1 Anforderungen aus Operational Technology Sicht . . . . . . . . . . 21
2.3.2 Anforderungen aus Machine Learning Sicht . . . . . . . . . . . . . . 23
2.3.3 Herausforderungen beim Einsatz im industriellen Umfeld . . . . . . 25
3 Vorarbeiten im Bereich komponentenbasierter Prozessfuhrung 27 ¨
3.1 Auftragsschnittstelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.1 Sprechende Kommandos . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.2 Fahrweisen als Dienste . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2 Zustandsautomaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.2.1 Belegung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.2 Betriebsart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2.3 Betriebszustand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.2.4 Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

3.3 Entwurfsmuster . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.1 Innerer Aufbau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.2 F¨ ahigkeiten- und Fahrweisenebene . . . . . . . . . . . . . . . . . . . 36
3.4 Komponenten-Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.4.1 Entwicklungsprozess . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.4.2 F¨ ahigkeitenbasiertes Engineering . . . . . . . . . . . . . . . . . . . 37
3.5 Komponentenumgebung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4 L¨ osungsentwurf einer Fahrweise zur Integration von Machine Learning 40
4.1 Konzept der ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.1.1 Deployment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1.2 Relevante Verteilungsm¨ oglichkeiten . . . . . . . . . . . . . . . . . . 41
4.2 Ans¨ atze innerhalb der Prozessfuhrungskomponente . . . . . . . . . . . . . ¨ 44
4.2.1 ML-Modell als Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.2 Fahrweisenwahl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.3 F¨ ahigkeitenebene . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.4 Auftragsaufgabe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.2.5 Makro fur Auftragsaufgabe . . . . . . . . . . . . . . . . . . . . . . . ¨ 47
4.3 Interaktionen der ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . 47
4.4 Auftragseingang . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
4.4.1 Anpassung der bestehenden Signatur . . . . . . . . . . . . . . . . . 51
4.4.2 Signatur der ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . 51
4.5 Betriebszust¨ ande . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.5.1 Abbruch- und Stoppphase . . . . . . . . . . . . . . . . . . . . . . . 52
4.5.2 Synchronisierung uber die Pausephase . . . . . . . . . . . . . . . . ¨ 54
4.5.3 Haltephase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.6 Betriebsarten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.6.1 Nutzung der Standard Betriebsarten . . . . . . . . . . . . . . . . . 55
4.6.2 Interpretation der Simulationsbetriebsart . . . . . . . . . . . . . . . 56
4.6.3 Erweiterung um Trainings-Betriebsarten . . . . . . . . . . . . . . . 56
4.7 Schnittstellen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.7.1 Schnittstelle des ML-Modells . . . . . . . . . . . . . . . . . . . . . . 59
4.7.2 Schnittstelle der ML-Fahrweise . . . . . . . . . . . . . . . . . . . . 61
4.8 Entwurfsmuster der ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . 64
4.8.1 Steuerkopf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
4.8.2 Aktions- und Beobachtungsfunktion . . . . . . . . . . . . . . . . . . 68
4.9 Fahrweisenuberwachung . . . . . . . . . . . . . . . . . . . . . . . . . . . . ¨ 69
4.9.1 Verriegelung und Deployment . . . . . . . . . . . . . . . . . . . . . 70
4.9.2 Uberwachung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ¨ 70
4.9.3 Ausweichaktion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5 Einordnung in die Prozessfuhrung und den Entwicklungsablauf ¨ 74
5.1 Einordnung in die Prozessfuhrung . . . . . . . . . . . . . . . . . . . . . . . ¨ 74
5.1.1 Ansatz als AT-Pyramide . . . . . . . . . . . . . . . . . . . . . . . . 74
5.1.2 Ansatz als Leitsystem . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.1.3 Ansatz als Komponente . . . . . . . . . . . . . . . . . . . . . . . . 75
5.1.4 Ansatz als Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . . . 76
VIInhaltsverzeichnis
5.2 Entwicklungsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.2.1 Ausgangspunkt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.2.2 Prozess-Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.3 Prozessleittechnik-Entwicklung . . . . . . . . . . . . . . . . . . . . 77
5.2.4 System-Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.2.5 Komponenten-Entwicklung . . . . . . . . . . . . . . . . . . . . . . . 79
5.3 ML-basierte Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.3.1 Entwurf des ML-Modells . . . . . . . . . . . . . . . . . . . . . . . . 80
5.3.2 Erstellung der Trainingsgrundlage . . . . . . . . . . . . . . . . . . . 81
5.3.3 Aufbau der Trainingsumgebung . . . . . . . . . . . . . . . . . . . . 82
5.3.4 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.4 Nutzung der ML-Fahrweise im Training . . . . . . . . . . . . . . . . . . . . 83
5.4.1 Bewertungsfunktion . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
5.4.2 Interaktionen des ML-Modells . . . . . . . . . . . . . . . . . . . . . 85
6 Anwendungsbeispiel fur die Steuerung eines Palettentransportsystems ¨ 88
6.1 Anwendungsfall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.1.1 Kaltwalzwerk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.1.2 Palettentransportsystem . . . . . . . . . . . . . . . . . . . . . . . . 89
6.1.3 Komponentenbasierte Prozessfuhrung . . . . . . . . . . . . . . . . . ¨ 90
6.1.4 Aufgabenstellung und Machine Learning Ansatz . . . . . . . . . . . 92
6.2 Umsetzung des Anwendungsfalls im Prozessleitsystem . . . . . . . . . . . . 96
6.2.1 ACPLT/RTE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.2.2 PFK-Rahmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
6.2.3 Art der Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.2.4 ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
6.2.5 ML-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
6.3 Trainingsumgebung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.3.1 Unit

y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3.2 Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
6.3.3 PFK-Rahmen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.3.4 ML-Fahrweise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
6.3.5 ML-Fahrweise der Palette . . . . . . . . . . . . . . . . . . . . . . . 115
6.3.6 ML-Modell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.3.7 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
7 Evaluation und Diskussion 120
7.1 Integrationstest . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.1.1 Tests im Leitsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7.1.2 Weitere Trainingsszenarien . . . . . . . . . . . . . . . . . . . . . . . 120
7.2 Einordnung der Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.2.1 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
7.2.2 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.2.3 Entwicklungsablauf . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
7.2.4 Herausforderungen . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
7.2.5 Erweiterungsmöglichkeiten des Trainingsprozesses . . . . . . . . . . 126

7.3 Voraussetzungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.3.1 Komponentenbasierte Prozessfuhrung . . . . . . . . . . . . . . . . . ¨ 127
7.3.2 Trainingsgrundlage . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7.4 Ubertragbarkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ¨ 128
7.4.1 Prozessfuhrungsstandards . . . . . . . . . . . . . . . . . . . . . . . ¨ 128
7.4.2 Verwaltungsschalen . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
8 Zusammenfassung und Ausblick 130
8.1 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
A Anhang 132
A.1 Prozessfuhrungskomponente . . . . . . . . . . . . . . . . . . . . . . . . . . ¨ 132
A.1.1 Zustandsautomaten . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
A.1.2 Fahrweisenmakro . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
A.2 Entwurf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
A.2.1 ML-Modell-Schnittstelle . . . . . . . . . . . . . . . . . . . . . . . . 136
A.2.2 ML-Fahrweisen-Schnittstelle . . . . . . . . . . . . . . . . . . . . . . 136
A.2.3 Betriebszust¨ ande . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
A.2.4 Deployment als Co-Simulation . . . . . . . . . . . . . . . . . . . . . 139
A.2.5 Generische Aktionsfunktion . . . . . . . . . . . . . . . . . . . . . . 139
A.2.6 Beispielsequenzen zur Kommunikation von ML-Modell und Fahrweise 140
A.3 Prototyp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
A.3.1 Unity-ML-Agents-Toolkit . . . . . . . . . . . . . . . . . . . . . . . 144
A.3.2 Unity Klassendiagramme . . . . . . . . . . . . . . . . . . . . . . . . 145
A.3.3 Trainingskonfiguration . . . . . . . . . . . . . . . . . . . . . . . . . 147
A.3.4 ACPLT/RTE CFCs . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Literatur 152
Normen und Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Betreute Abschlussarbeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

Keywords: Maschinelles Lernen, Modulare Prozessführung, Komponentenbasierte Entwicklung, Orchestrierung, Agentensysteme, Künstliche Intelligenz, Machine Learning, Modular Process Control, Component-based Engineering, Orchestration, Agent-based Systems, Artificial Intelligence