ReLkat – Reinforcement Learning für komplexe automatisierungstechnische Anwendungen

Machine Learning für Energieeffizienz

Das Thema Energieeffizienz gewinnt für produzierende Unternehmen zunehmend an Bedeutung. Mit der DIN ISO 50001 bestehen gerade für energie-intensive Standorte systematische Möglichkeiten und Anreize, ihren Energieverbrauch mit einem Energiemanagementsystem zu überwachen und darauf aufbauend zu reduzieren. Naheliegend ist die Neuanschaffung effizienterer Beleuchtung, Medienversorgung und Maschinen. Doch auch in bestehenden Systemen und Anlagen lassen sich Einsparpotenziale aufdecken und nutzen. Gerade die Steuerung bisher fest eingestellter Größen erschließt neue Freiheitsgrade ohne den Austausch des Systems. Dabei lässt allerdings nicht zuletzt die Komplexität der daraus hervorgehenden Optimierungsaufgaben die traditionelle Regelung an ihre Grenzen stoßen. Das Projekt ReLkat zielt auf die Erweiterung lokaler Steuerung um Machine Learning, insbesondere lokalem Reinforcement Learning.

Von Sollwertvorgabe zu prozessnaher Steuerung

In vorangegangenen Projekten (EnEffCo und EnEffReg) entstand am Fraunhofer IPK bereits ein Energie-Monitoring und darauf aufbauend ein universell einsetzbares Framework zur automatischen Anlagenregelung über ein intelligentes Steuerungssystem nach Effizienzkriterien. Letzteres beschränkt sich aber als kompatible, übergeordnete Regelung auf die Sollwertoptimierung und verändert die bestehende, prozessnahe Regelung nicht wesentlich. Mit ReLkat wird nun in diese Ebene vorgedrungen und Reinforcement Learning in die Steuerung eingebracht, um die Prozesse ggf. in Echtzeit zu regeln. Dazu kooperiert das Fraunhofer IPK mit dem Berliner KI-Unternehmen Signal Cruncher GmbH. Um den Anforderungen in industriellen Anwendungen gerecht zu werden, erfolgt eine weitere Generalisierung des Reinforcement-Learning-Kerns über hierarchische Tensornetzwerke zur Anwendbarkeit auf eine breite Klasse von Regelungsaufgaben und eine Erweiterung um domänen-spezifische Module.

Lokales Lernen oder Cloud-Anbindung?

Derzeit beliebte Ansätze des Machine Learning sind wegen ihres hohen Bedarfs an Rechenleistung oftmals Cloud-abhängig. Dies ist jedoch sowohl aus Datenschutzgründen als auch technisch mit Einschränkungen verbunden. So können Berechnungen in der Cloud für große Datenmengen mit schnellen Taktraten gegebenenfalls nicht performant genug sein. Es ist zu prüfen, für welche Maschinen und Prozesse eine lokale Regelung notwendig ist und welche Funktionen und Berechnungen in die Cloud verlegt werden können. ReLkat strebt insbesondere eine lokale Integration von Reinforcement Learning in industrielle Steuerungstechnik an, beispielsweise mittels spezialisierter Hardware. Das System lernt auf lokalen Daten die optimale Steuerung, um eine Zielgröße zu maximieren oder zu minimieren. Im Forschungsprojekt sollten Cloud-gebundene und autark arbeitende Implementierungen verglichen werden.

Übertragbare Lösung statt einzelfallspezifischem Eingriff

Mit ReLkat wird eine generische, flexiblere Lösung anstelle einer hochspezialisierten angestrebt. Sie soll nicht mehr auf der üblichen, manuellen und damit aufwändigen spezifischen Merkmalsextraktion für Verfahren des Machine Learning aufbauen. Stattdessen sollen Merkmale automatisch für die jeweilige spezielle Aufgabenstellung extrahiert werden. Damit ist Letztere für ReLkat prinzipiell austauschbar, da Übertragbarkeit das angestrebte Ziel darstellt. Jedoch muss die Lösung in der Praxis für konkrete Aufgabenstellungen getestet werden.

Selbstlernende Echtzeitregelung für die industrielle Steuerungstechnik

ReLkat schafft auf Basis der XONBOT-Bibliothek ein automatisiertes Entscheidungssystem auch für den Bereich Industrie 4.0. So entstehen allgemein anwendbare Methoden und Verfahren, die für diverse Anwendungsfälle verwendbar sein sollen. Dazu wird der XONBOT-Analysekern von Signal Cruncher um verschiedene, aber einheitlich beschriebene Optimierungs- und Regressionsverfahren erweitert. Ein besonders herausfordernder Anspruch von ReLkat ist das übertragbare, verändernde Eingreifen in die bestehende Steuerung mittels Reinforcement Learning. Da der Einsatz von speicherprogrammierbaren Steuerungen in Produktionsanlagen einen industriellen Standard darstellt, entwickeln die Projektpartner einen SPS-Adapter als eine breit übertragbare Anbindung von XONBOT. Durch diese angestrebte Minimierung des Installationsaufwands soll die Akzeptanz der Technologie bei potentiellen Anwendern gefördert werden. Zu diesem Zweck wird auch eine besonders hohe Transparenz der Anlagen- und Berechnungsmodelle angestrebt, sodass die Ausgabe der Verfahren für Anwender nachvollziehbar und überprüfbar ist.