Startseite > Automation > Bildverarbeitung > Räumlicher Durchblick in immer mehr Anwendungen

Expertenumfrage zur 3D-Bildverarbeitung

Räumlicher Durchblick in immer mehr Anwendungen

10. Februar 2022, 9:06 Uhr | Andreas Knoll

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Teledyne Dalsa: »KI dringt auch in die 3D-Technik vor«

Bruno Ménard, Teledyne Dalsa
»KI dringt auch in die 3D-Technik vor«

Künstliche Intelligenz (KI) und Machine Learning halten auch in der 3D-Bildverarbeitung Einzug. Bruno Ménard, Software Director Vision Solutions bei Teledyne Dalsa, gibt nähere Informationen und erläutert die Vor- und Nachteile der diversen 3D-Vision-Verfahren.

Markt&Technik: Was hat sich in der 3D-Bildverarbeitung in den vergangenen Jahren technisch getan? Welche technischen Trends zeigen sich dort momentan?

Bruno Ménard: Der auffälligste Fortschritt der letzten Jahre ist die Demokratisierung von KI für verschiedene Anwendungen, einschließlich der 3D-Bildverarbeitung. In erster Linie lassen sich KI-Basisalgorithmen wie die Objekterkennung jetzt anwenden, um Objekte zu lokalisieren oder Defekte in einer 3D-Szene zu finden, die beispielsweise als 3D-Punktwolke erfasst wurde. KI ermöglicht eine größere Robustheit bei Variationen der Aufnahmeszenarien als je zuvor.

Zweitens gewinnen neue Techniken wie Depth Sensing from Deep Learning an Zugkraft. Einige 3D-Anwendungen (vor allem die Beschreibung von Szenen) lassen sich mit neuronalen Netzen realisieren, die aus Farbbildern die Tiefe ermitteln können.
Ein weiterer wichtiger Trend ist die Vielzahl neuer Onboard Processing Devices, die es ermöglichen, immer rechenintensivere 3D-Bildverarbeitungsvorgänge in 3D-Bildaufnahmegeräten durchzuführen. Heutzutage kann ein SoC Arm-Prozessoren, neuronale Prozessoren und FPGAs in sich vereinen, sodass eine ganze Reihe von 3D-Verarbeitungs-Pipelines onboard ausgeführt werden kann.

Was kann die 3D-Bildverarbeitung in industriellen und nichtindustriellen Anwendungen leisten, auch im Vergleich zur 2D-Bildverarbeitung?

Der größte Vorteil des 3D-Scannens und der 3D-Verarbeitung im Vergleich zur herkömmlichen 2D-Bildverarbeitung ist die Möglichkeit, Messungen an kontrastarmen Teilen durchzuführen, bei denen der Großteil der Tiefeninformationen verloren gehen würde, wenn man sie mit einem 2D-Sensor erfasst. Die Messung der Tiefe einer Bohrung in einem Metallteil beispielsweise ist mit einem 2D-Bild einfach unmöglich. Die 3D-Bildverarbeitung ermöglicht hochpräzise Messungen an vielfältigen Objekten und Formen. Je nach Scantechnologie kann die Genauigkeit bis zu einige Mikrometer betragen. Durch die Kombination mehrerer 3D-Scanner ist es möglich, integrale Objekte in einem einheitlichen, koordinierten System zu rekonstruieren. 3D-Messungen werden häufig für die Prüfung von integrierten Schaltkreisen, Smartphone-Gehäusen und Batterien eingesetzt, um nur einige Beispiele zu nennen.

Welche 3D-Bildverarbeitungsverfahren eignen sich für welche Anwendungen besonders und warum?

Laser-Triangulationssysteme sind kostengünstig, einfach zu bedienen, schnell und robust. Es gibt sie mit einer großen Bandbreite an Auflösungen von Mikrometern bis zu Metern. Sie bieten eine hohe Genauigkeit und können Vibrationen vertragen. Allerdings erfordert die Okklusion, also die Abschattung von Merkmalen, oft den Einsatz mehrerer Geräte. Auch spiegelnde Reflexionen auf glänzenden Oberflächen stellen wie bei den meisten 3D-Bildgebungstechniken eine Herausforderung dar. Die Lasertriangulation lässt sich in fast allen industriellen Anwendungen einsetzen.
Streifenlichtprojektionssysteme erreichen Auflösungen bis in den Submikrometerbereich und erfordern für einen vollständigen Scan des Teils keine Bewegung. Aber auch hier stellen Okklusion und spiegelnde Reflexionen (sowie das Umgebungslicht) eine Herausforderung dar. Diese Systeme sind sehr empfindlich gegenüber Vibrationen. Strukturiertes Licht ist nützlich für Anwendungen, die eine sehr hohe Genauigkeit erfordern, etwa die Prüfung von BGAs.

Stereoskopiesysteme lassen sich aus zwei Standard-Flächenkameras und einer Software zur Berechnung des resultierenden Bildes aufbauen. Das System liefert selbst bei sich bewegenden Objekten ein schnappschussartiges 3D-Bild, und es gibt viele Softwarepakete, die dies unterstützen, weil diese Technologie ausgereift ist. Allerdings ist auch die Beleuchtung entscheidend für die Vermeidung von Verzerrungen. Die Tiefengenauigkeit ist insgesamt eher schlecht, und die Tiefenschärfe ist begrenzt. Eine sehr gute Wahl ist die Stereoskopie unter anderem für Verkehrsanwendungen.

Time-of-Flight-Kameras (ToF) schließlich erfassen ein volumetrisches 3D-Bild in einem einzigen Bild. Wie bei anderen Technologien auch, ist ToF anfällig für Sekundärreflexionen und Umgebungslicht. Außerdem reagiert ToF empfindlich auf Bewegungen, der Dynamikbereich ist relativ gering, und die Tiefenauflösung ist sehr schlecht. ToF ist nützlich etwa bei der Kommissionierung von Behältern durch Roboter, beim Zählen von Personen und bei der Navigation.

Welche Vorteile hat die 3D- gegenüber der 2D-Bildverarbeitung in der Robotik? Welche 3D-Bildverarbeitungsverfahren bieten sich dort besonders an?

Roboter müssen Tiefeninformationen bekommen, um Objekte zuverlässig erfassen zu können. Die Robotik erfordert nicht die gleiche Empfindlichkeit wie andere, anspruchsvollere 3D-Anwendungen. Und während Tiefeninformationen für das zuverlässige Greifen von Objekten entscheidend sind, sind die Anforderungen an die Präzision weniger entscheidend. ToF ist schnell und kann rasch einen 3D-Schnappschuss einer Szene erfassen. Scantechniken wie das Laser Profiling sind auch sehr nützlich für Scan-Anwendungen wie etwa die Inspektion von Autotüren, bei der die Prüfung auf Spaltmaß und Bündigkeit mit einem Roboterarm durchgeführt wird. Ein weiteres Beispiel ist die herkömmliche oder KI-basierte 3D-Objekterkennung, die beim zufälligen Greifen von Objekten aus Behältern eingesetzt wird, um Objekte in einer unübersichtlichen Umgebung zu finden. Heutzutage hilft KI dabei, Objekte sogar in Umgebungen zu finden, die ein hohes Maß an Variation in Form, Beleuchtung, Verdeckung oder Reflexionen aufweisen.

Wie lassen sich 3D-Sensoren bzw. 3D-Kameras in Embedded-Vision-Systeme integrieren?

Weil 3D-Scans oft eine große Datenmenge enthalten, ist es wünschenswert, das Host-System zu entlasten, indem 3D-Bildverarbeitungsfunktionen teilweise oder vollständig in einen Onboard-Prozessor integriert werden. Aus Softwaresicht stehen immer mehr parallele Prozessoren (Koprozessoren oder SoC) zur Verfügung, die eine 3D-Verarbeitung mit gutem Durchsatz und hoher Leistungseffizienz durchführen können. Ob es um die Anwendung von Bildoptimierungsfunktionen wie Rauschfilterung, Entfernen von Überbelichtungen oder Füllen von Lücken im Bild geht oder um die Durchführung anwendungsspezifischer Aufgaben wie Szenensegmentierung oder KI-basierte Objekterkennung: Moderne Prozessoren können eine ganze Reihe von Funktionen durchführen.

Angesichts der großen Datenmengen werden Anwender die rechenintensivsten Funktionen durch standardmäßige oder herstellerspezifische Beschleunigungstechniken optimieren wollen. Aus Sicht der Hardware bieten einige Hochgeschwindigkeitssensoren die Möglichkeit, ein gewisses Maß an Vorverarbeitung im Chip durchzuführen, etwa die ROI-Auswahl (Region of Interest). Mini-Industrie-PCs, in denen eine 3D-Host-Anwendung läuft und die mit einer Reihe von 3D-Scannern verbunden sind, können ein kompaktes Embedded-3D-Vision-System darstellen.