Universelle Helfer in rauen Umgebungen

Roboter werden autonom und intelligent

15. April 2024, 10:05 Uhr | Kevin Hawryluk
Der Hamburger Hafen prüft, wie sich mobile Roboter wie Spot für die Inspektion von Bauwerken auf dem Hafengelände einsetzen lassen.
© Hamburg Port Authority/Christian Bruch

Mobile Roboter mit KI-Funktionen wie »Spot« von Boston Dynamics eignen sich für viele Einsatzfelder. Doch das erfordert Robotikplattformen, durchgängige Daten-Pipelines vom Roboter bis in die Cloud, sowie anwendungsspezifische Anpassungen von Spezialisten wie Reply.

Diesen Artikel anhören

Die Zeiten sind vorbei, in denen Roboter vorzugsweise stationäre Systeme mit begrenzter „Intelligenz“ waren. Fortschritte in den Bereichen Robotertechnik, Machine Learning (ML) und Künstliche Intelligenz (KI) führen zu einer neuen Generation von mobilen Systemen. Sie können autonom durch eine Umgebung navigieren und selbstständig Aktionen ausführen.

Zu dieser Kategorie zählen autonome Transportsysteme (Automated Guided Vehicles, AGV) in der Fertigung und Drohnen in der Lagerverwaltung. Durch eine besonders hohe Flexibilität zeichnen sich vierbeinige Industrieroboter (Autonomous Mobile Roboter, AMR) wie Spot aus. Das System des amerikanischen Herstellers Boston Dynamics lässt sich als mobile IoT (Internet of Things)-Plattform einsetzen. Zu diesem Zweck statten Robotikexperten den AMR mit Sensoren, Kameras, 3D-Scannern und weiteren Sensoren aus – je nachdem, in welchem Anwendungsbereich der Roboter Verwendung findet.

Breites Spektrum von Einsatzfeldern

Applikationen für maßgeschneiderte Einsatzszenarien entwickeln darauf spezialisierte Unternehmen wie Reply. Sie nehmen auch die Anpassungen der Hard- und Softwareausstattung vor. Solche individuellen Lösungen kombinieren Technologien wie Robotik, die Echtzeiterfassung von Daten sowie Mixed- und Virtual-Reality-Lösungen wie die Hololens von Microsoft mit Cloud- und On-Premises-Infrastrukturen sowie Robotics-Plattformen.

Roboter in Umspannwerk
Ein autonomer Industrieroboter wie Spot kann beispielsweise in Umspannwerken anhand der Geräusche von Trafos und Leitungen erkennen, ob sich eine Fehlfunktion ankündigt. Zu diesem Zweck wird Spot mit einer feststehende Akustikkamera wie der Fluke SV600 ausgestattet.
© Roboverse Reply

Ein wichtiges Einsatzfeld intelligenter mobiler Roboter ist die Inspektion von Bauwerken und Anlagen, besonders zur Analyse kritischer Infrastruktur. Die Elia Group, ein Betreiber von Stromnetzen in Belgien, verwendet beispielsweise Spot Roboter und die Systemlösung von Roboverse Reply, um technische Probleme in Umspannwerken zu erkennen. Spot Roboter werden zu diesem Zweck mit Kameras ausgestattet, welche die Wärmeentwicklung von Transformatoren und Stromleitungen erfassen und in einer Heatmap darstellen.

Bilder und Geräusche analysieren

Alternativ dazu lässt sich Spot mit einer Akustikkamera wie der Fluke SV600 ausrüsten. Sie erfasst die Geräuschsignatur von Systemen, etwa Transformatoren in einem Umspannwerk, aber auch von Gasleitungen und Druckluftsystemen. Spot ist dank der Sensorik, akustischer Auswertung und Visualisierung in der Lage, Leckagen und bevorstehende Ausfälle von Systemen zu diagnostizieren.

Auf Basis der Analyse der Bild- und Tondateien kann ein Anwender proaktiv Gegenmaßnahmen einleiten, Stichwort: Predictive Maintenance. Die Voraussetzung ist, dass ein AMR mithilfe von KI- und Machine-Learning-Modellen in die Lage versetzt wird, anhand von Bildern und Geräuschen das „normale“ Verhalten einer Gasleitung oder eines Transformators zu erlernen. Maßnahmen können auch eingeleitet werden, wenn Anzeigen von Messgeräten überprüft und Abweichungen von den Sollwerten festgestellt werden.

Für raue Umgebungen geschaffen

Ein wesentlicher Vorteil ist, dass die Inspektion der Anlagen remote erfolgt, also ohne Techniker vor Ort. Das erspart den Fachleuten lange Anfahrtszeiten. Auch an Offshore-Standorten wie Öl- und Gasförderanlagen lässt sich ein AMR für vergleichbare Aufgaben nutzen.

Bild mit Infrarotkamera gemacht
Kameras von Robotern wie Spot ermitteln mit Wärmebild- oder Akustikkameras, ob sich die Temperaturen von Stromleitungen oder Maschinen im Normbereich bewegen. Nur dann, wenn dies nicht der Fall ist, müssen Fachleute vor Ort tätig werden.
© Reply Deutschland SE

Ein weiterer Vorteil ist, dass ein Roboter auch in potenziell gefährlichen Umgebungen eingesetzt werden kann: in Tanklagern, chemischen Produktionsanlagen und Atomkraftwerken. Die Betreiber solcher Anlagen statten den mobilen Roboter zu diesem Zweck mit Gassensoren oder einem Geigerzähler aus. Die erfassten Daten werden ebenso wie im Beispiel mit dem Umspannwerk in farbige 3D-Karten umgesetzt. Sie machen deutlich, wo sich eventuell ein Hotspot mit einer erhöhten Konzentration eines Gases gebildet hat.

Technische Grundlagen

Bei einem autonomen mobilen Roboter müssen viele Technologien zusammenspielen, damit sich ein tragfähiger Anwendungsfall (Use Case) ergibt. Dazu zählen:

  • Das AMR-System selbst, wie etwa der Spot Roboter
  • Eine herstellerunabhängige Systemsoftware wie das Robot Operating System (ROS)
  • Lösungen, mit denen Anwender Spot steuern können. Dafür kommen Virtual-Reality-Brillen, infrage, aber auch Steuerkonsolen mit einem integrierten Bildschirm sowie Lösungen, die mit Tastatur, Maus und einem Display arbeiten.
  • Lösungen, mit denen sich eine 3D-Datenwolke der Umgebung erstellen lässt, in der sich ein AMR bewegt. Diese Karte benötigt Spot, um zu navigieren und die Positionen zu finden, an denen er beispielsweise Messungen vornehmen soll.
  • Eine cloudbasierte Robotics-Plattform, etwa von Roboverse Reply. Sie dient dazu, die mobilen Roboter in Echtzeit zu verwalten und zu steuern. Dazu stehen beispielsweise Cloud-Dashboards bereit.
  • Eine Plattform für das Training der Machine-Learning-Algorithmen, die beim Roboter zum Einsatz kommen. Außerdem dient eine solche Plattform für die weitergehende Analyse der Daten, die ein Roboter mit seinen Sensoren und Kameras erfasst. Auch diese Plattform kann über die Cloud bereitgestellt werden, und zwar ebenfalls über die Robotics Plattform.
  • Datenverbindungen, die eine schnelle Informationsübermittlung erlauben, idealerweise in Echtzeit. Dies lässt sich beispielsweise mithilfe von 5G-Netzen erreichen. Unternehmen und Organisationen haben bei 5G zudem die Möglichkeit, Campus-Netze einzurichten, wie beispielsweise auf Baustellen oder einem Werksgelände.
  • Edge-Computing-Systeme und Industrie-PCs, die es einem Roboter erlauben, vor Ort eine erste Analyse der Daten vorzunehmen. Spot lässt sich zu diesem Zweck mit einem Industrie-Rechner ausstatten.

Offene Betriebssystem-Plattform

Jeder Roboter, so auch Spot, ist mit einer herstellerspezifischen Systemsoftware ausgestattet. Reply greift zusätzlich auf das herstellerneutrale Robot Operating System (ROS2) zurück. Es besteht aus Software-Bibliotheken und Tools auf Open-Source-Basis, mit denen Fachleute Roboteranwendungen entwickeln können. Zwar bietet Spot von Boston Dynamics keine native Unterstützung von ROS, wobei das Boston Dynamics AI Institut einen Wrapper zur Verfügung stellt. So lässt sich dieser Roboter mithilfe von Wrappern in eine Robotics Plattform auf Basis von ROS einbinden.

Datenfluss Roboterdaten
Wie die Untersuchung eines Fahrzeugs auf Schäden mithilfe von Spot und der Cloud-Plattform Azure abläuft: Die Bilder, die der Roboter vom Auto anfertigt, werden in der Cloud von Microsoft ausgewertet.
© Microsoft/Reply Deutschland SE

Ein offenes, standardisiertes Framework wie ROS hat den Vorteil, dass Fachleute damit Anwendungen erstellen können, die auf Robotern unterschiedlicher Hersteller laufen. Dies ist hilfreich, wenn ein Anwender neben Spot weitere Systeme einsetzt. Entwickler müssen sich in diesem Fall nicht jedes Mal in die spezielle Systemsoftware einarbeiten, die Roboterhersteller für ihre Systeme bereitstellen. Vielmehr lassen sich systemübergreifend Robotik-Applikationen erstellen, und dies mit gängigen Programmiersprachen wie Python und C++.

Navigation mittels 3D-Punktewolke

Soll ein Roboter autonom navigieren können, muss er im ersten Schritt die Umgebung erfassen. Dazu stehen 3D-Laserscanner zur Verfügung, wie der Leica BLK ARC. Sie erlauben es Systemen wie Spot, in Verbindung mit den integrierten Kameras des Roboters selbstständig Panaromabilder und eine hochauflösende 3D-Punktewolke der Umgebung anzufertigen. Je nach Anwendungsfall stellt Spot Bilder einer kugelförmigen Kamera (360 x 170 Grad) zur Verfügung. Ergänzen lassen sich Infrarot- und weitere Lidar-Systeme.

Ein SLAM-Algorithmus (Simultaneous Localization and Mapping) setzt die Informationen in eine dreidimensionale Karte um. Damit ist Spot in der Lage, seine eigene und die Position von Gegenständen zu bestimmen, etwa von Ventilen und Manometern an einer Pumpe. Werden hervorstechende Merkmalspunkte in einer Bildsequenz der Kameras mit Trägheitsmessungen kombiniert, können Roboter ihre Bewegung noch besser einschätzen.

Nicht direkt durch das Blumenbeet

Je nach Anwendungsfall können externe Roboterspezialisten wie Roboverse Reply die Navigationsfunktionen erweitern und verfeinern. Dazu ein Beispiel: Spot soll sich in einem Außengelände von A nach B bewegen. Auf dem direkten Weg liegt jedoch ein Blumenbeet.

In der Originalkonfiguration würde das System von Boston Dynamics direkt durch das Beet “marschieren”. Ergänzende KI- und Machine-Learning-Funktionen versetzen den Roboter in die Lage, das Beet als solches zu erkennen und einen alternativen Weg zu finden. KI- und ML-Algorithmen sind zudem nötig, damit sich ein mobiler Roboter in Umgebungen orientieren kann, die Veränderungen unterliegen. Das ist beispielsweise in einer Lagerhalle wichtig, um zu garantieren und validieren, dass die Rettungswege nicht versperrt sind.

Zentrale Plattform für eine nahtlose Kommunikation

Eine zentrale Rolle beim Einsatz von autonomen, mobilen Robotern spielt eine durchgängige (End-to-End) Plattform. Sie unterstützt die Kommunikation zwischen Robotern, Menschen und Robotern sowie zwischen Systemen wie Spot mit entsprechenden IoT-Geräten. Auf diese Weise können Roboter ihre Aufgaben weitgehend autonom erledigen. Menschliche Bediener haben die Möglichkeit, jederzeit Anweisungen zu übermitteln. Das Management der Roboter über die Plattform sollte in Echtzeit erfolgen und zudem die Übermittlung von Live-Streams von den Kameras und Scannern der Systeme ermöglichen.

Roboter in Gewerbebau
Autonome, mobile Industrieroboter wie Spot lassen sich nutzen, um die Infrastruktur von Gebäuden zu überwachen. Dazu werden die Roboter mit Sensoren, Kameras und 3D-Scannern ausgestattet, zudem mit Greifarmen, die mit Werkzeugen bestückt sind.
© Microsoft/Reply Deutschland SE

Wichtig ist außerdem, dass die Plattform nicht nur Analysen durchführt, sondern auch Aktionen anstoßen kann. Dazu ein Beispiel: In einem Industrieunternehmen prüft Spot die Funktion von Pumpen. Dazu liest er Messwerte vom Display der Systeme ab. Zeigt sich an einem Sonntag bei der Analyse der Werte, dass der Motor einer Pumpe heiß zu laufen droht, wird das Wartungspersonal informiert. Die Fachleute entscheiden, ob ein Eingreifen vor Ort durch den Roboter oder Wartungstechniker erforderlich ist. Möglicherweise reicht es aus, dass Spot die Leistung der Pumpe reduziert. Die Untersuchung vor Ort und eine Reparatur kann dann das Fachpersonal am folgenden Arbeitstag durchführen.

Edge-Systeme und lokale Analysen

Da nicht in jedem Fall eine Echtzeitverbindung zwischen Plattform und Roboter verfügbar ist, muss eine Robotics-Plattform alternative Methoden unterstützen. So lässt sich ein Teil der KI- und Machine-Learning-Funktionen auf einem portablen Rechner implementieren, den Spot mit sich trägt. Solche Industrie-PCs lassen sich mit Grafikprozessoren (GPUs) oder Video Processing Units (VPUs) ausstatten. Sie ermöglichen eine KI-basierte, erste Analyse von Bildinformationen, auf deren Basis der Roboter Aktionen durchführen kann, wie ein Ventil schließen.

Eine zweite Option besteht darin, in der Nähe des Einsatzortes (am Edge der Netzwerkinfrastruktur) IT-Systeme zu platzieren. Dieses Modell kommt beispielsweise in Fertigungsumgebungen zum Einsatz, in denen Echtzeitanalysen erforderlich sind. Solche Edge-Systeme können mobile Roboter wie Spot bei der Vorauswertung von Daten unterstützen, etwa in schwer zugänglichen und großen Räumen, in denen selbst die Reichweite von 5G-Netzen nicht ausreicht. Bei der Auswahl einer Robotics Plattform ist es daher wichtig, dass diese alle drei Szenarien unterstützt: eine Steuerung des Roboters und eine Datenanalyse über die Cloud, Edge-Systeme und lokale Rechnerressourcen.

Offen für alle Machine-Learning-Modelle und Business-Plattformen

Ebenso wie beim Roboterbetriebssystem sollten Nutzer die Option haben, bei Robotern je nach Anwendungsfall Machine-Learning-Modelle ihrer Wahl einzusetzen. Das lässt sich mithilfe von Ansätzen wie z.B. ONNX (Open Neural Network Exchange) umsetzen. Es ist ein offenes Format für das Speichern und den Austausch von KI- und Machine-Learning-Modellen.

Dadurch können Entwickler von Robotik-Anwendungen KI- und ML-Modelle mit den gewohnten Frameworks erstellen, etwa PyTorch, Tensorflow oder MXNet. Anschließend werden die Modelle in das ONNX-Format exportiert und lassen sich in beliebigen Laufzeitumgebungen ausführen. Roboverse Reply nutzt unter anderem ONNX, um KI-Anwendungen für unterschiedliche Robotersysteme und Anwendungsszenarien zu entwickeln. Von dieser Flexibilität profitieren Anwender, die nicht nur Spot im Einsatz haben, sondern dieselben oder ähnliche Anwendungen auf unterschiedlichen Robotern oder Drohnen ausführen möchten.

Ausblick: Swarm Robotics

Zu den nächsten Evolutionsschritten im Bereich mobile Roboter zählen „Roboterschwärme“ (Swarm Robotics). Derzeit prüfen Experten von Reply, inwiefern sich Swarm Robotics für den Einsatz in Unternehmen eignet. Solche „Schwärme“ müssen nicht zwangsläufig aus hoch entwickelten Systemen wie Spot bestehen, sondern können auch einfachere und damit preiswertere Roboter umfassen. Die einzelnen Systeme teilen Informationen mit ihren Kollegen, etwa 3D-Maps für die Navigation.

Reply testet darüber hinaus, wie sich autonom agierende Drohnenschwärme in der Logistik einsetzen lassen, speziell der Lagerverwaltung. Dadurch können Unternehmen Prozesse im Bereich Supply Chain schneller und effizienter abwickeln. Die Anwendungsszenarien sind mehr als vielfältig. Spot, der vierbeinige „Roboter-Hund“, kann mit weiteren Kollegen, die sich durch die Luft bewegen, zusammenarbeiten, um weitere Synergieeffekte zu erzeugen. Dem Einsatz sind (fast) keine Grenzen gesetzt.

Kevin Hawryluk ist Manager bei Roboverse Reply und Teil der international tätigen Reply Practice „Robotics”

 


Lesen Sie mehr zum Thema


Jetzt kostenfreie Newsletter bestellen!

Weitere Artikel zu Reply Deutschland SE

Weitere Artikel zu Robotik

Weitere Artikel zu Roboter

Weitere Artikel zu Robotersteuerungen