Elektroniknet Logo

Softwareoptimierung

Nebel – und dennoch klare Sicht

Softwareoptimierung durch verwenden eines Capsule Neural Networks
© EDAG | Shutterstock

KI und autonomes Fahren sind untrennbar miteinander verbunden: Intelligente Software zur Bildaufbereitung kann Fahrerassistenzsysteme noch sicherer machen. Das Engineering-Unternehmen EDAG stellt eine hohe Bildqualität ohne Informationsverlust durch eigenentwickelte Bildaufbereitungssoftware sicher.

Auch wenn noch kein vollautonomes Fahrzeug für den Straßenverkehr zugelassen ist, werden immer mehr Assistenzsysteme serienmäßig verbaut. Diese unterstützen den Fahrer und ebnen den Weg zum autonomen Fahren. Assistenzsysteme wie beispielsweise der Notbremsassistent oder die Schildererkennung arbeiten auf Basis von Kamerabildern, die von Sensoren rund um das Fahrzeug bereitgestellt werden. In der Theorie liefern sie hochqualitative Ergebnisse, die das Fahren sicherer machen. Dies sieht jedoch in der Praxis oft anders aus. Wenn die Kameralinse durch Staub oder Dreck verunreinigt ist oder schlechte Wetterbedingungen wie Regen, Nebel oder Schnee vorherrschen, erhält die Software kein klares Bild und es fehlen ihr eventuell wichtige Umgebungsinformationen.

In einem solchen Fall kann es passieren, dass ein Assistenzsystem falsche oder unvollständige Informationen liefert. Da der Fahrer aber in genau solchen Situationen Unterstützung benötigen würde, arbeitet der Entwicklungsdienstleister EDAG unter anderem an der Entwicklung von Software zur Bildaufbereitung. Dadurch können beispielsweise Schmutz auf einer Kameralinse erkannt und die dadurch verdeckten Bildbereiche rekonstruiert oder der Nebel aus Bildern entfernt werden.
Durch die eigenentwickelte Bildaufbereitungssoftware kann sichergestellt werden, dass Fahrerassistenzsysteme Bilder von hoher Güte und ohne Informationsverlust erhalten und dadurch selbst unter schlechten Witterungsbedingungen einwandfrei funktionieren und zuverlässige Informationen liefern.

Die Bildaufbereitungssoftware SmoFod

Eine solche Bildaufbereitungssoftware nennt sich Smog and Fog Dehazer (SmoFod). Sie wurde entwickelt, um mittels einer KI Nebel aus Bildern zu entfernen und so den Fahrer bei der oft riskanten Fahrt durch den Nebel zu unterstützen. Nebel kommt speziell in Regionen mit Flüssen oder Seen oft vor. Manche sehen in ihm etwas Romantisches oder Geheimnisvolles, aber für Autofahrer stellt er in erster Linie ein großes Sicherheitsrisiko dar. Das Wetterphänomen Nebel ist zurückzuführen auf kleinste Wassertropfen, die einen Durchmesser von 0,01 mm bis 0,04 mm aufweisen. Diese Tröpfchen lassen Farben verblassen und entschärfen Kontraste, wodurch sich die Sicht insgesamt verschlechtert. Je nach Stärke des Nebels sind die Farb- und Kontrastunterschiede weit entfernter Objekte für den Menschen kaum noch auszumachen und die Objekte somit nicht erkennbar.

Fährt ein Fahrzeug durch Nebel, nehmen die Onboard-Kameras digitale Bilder bestehend aus drei Kanälen (Rot, Gelb und Blau) auf. Jeder Kanal besteht aus einzelnen Pixeln, die den Intensitätswert der Farbe an der konkreten Bildstelle darstellen. Hierdurch kann ein Bild auf sehr granularer Weise aufgelöst und analysiert werden. Auf Pixelbasis sind trotz des Nebels oft noch geringe Farb- und Kontrastunterschiede auszumachen. Hier setzt die Entwicklung von SmoFod an. Er analysiert kleinste Unterschiede der Pixelwerte und ändert diese derart ab, dass ein klares Bild entsteht, aus dem der Nebel herausgerechnet wurde.

DehazeNet als Basis von SmoFod

Die Entwicklung von SmoFod begann im Jahr 2017. Damals bildete das Dehaze- Net von Bolun Cai et al. [1] die Grundlage der Entwicklung. Das DehazeNet folgt der Theorie, dass der Lichtdurchlässigkeitsfaktor des Nebels in einem sehr kleinen Bildausschnitt für jeden Pixel in diesem Ausschnitt identisch ist. Daher wurde der Ansatz verfolgt, ein Netz zu trainieren, das diesen Faktor für einen kleinen Bildausschnitt bestimmt. Für den Bilddatensatz wurden Ausschnitte der Größe 16 Pixel x 16 Pixel aus diversen Bildern extrahiert und diese synthetisch vernebelt (unter Verwendung eines zufällig generierten Lichtdurchlässigkeitswertes). Das Netz erhält also als Eingabe einen vernebelten 16-Pixel-x-16-Pixel-Bildausschnitt und bestimmt den Lichtdurchlässigkeitsfaktor. Dieser wird mit dem korrekten (bekannten) Faktor verglichen. Auf diese Weise wird das Netz trainiert.

Relevante Anbieter

In der Anwendung ist nun aber nicht die Kenntnis der Lichtdurchlässigkeitsfaktoren interessant, sondern das entnebelte Bild. Dieses kann mithilfe von Koschmieders Modell der horizontalen Sichtweite [2] berechnet werden. Koschmieders Modell I(x) = J (x)t(x) + α(1 − t(x)) kann folgendermaßen umgeformt werden:

J left parenthesis x right parenthesis equals fraction numerator I left parenthesis x right parenthesis minus alpha left parenthesis 1 minus t left parenthesis x right parenthesis right parenthesis over denominator t left parenthesis x right parenthesis end fraction

Hier bezeichnet J(x) den Pixelwert des klaren Bildes, I(x) den Pixelwert des vernebelten Bildes und t(x) den Lichtdurchlässigkeitswert jeweils an der Stelle x. Der Parameter αist innerhalb eines Bildes konstant. Der Wert wird bestimmt, indem alle Bildpunkte extrahiert werden, die den geringsten Lichtdurchlässigkeitswert und somit den dichtesten Nebel aufweisen. Der höchste Pixelwert dieser Bildpunkte beschreibt α.

alpha space equals m a x space I left parenthesis y right parenthesis
space space space space space blank to the power of y epsilon open curly brackets x vertical line t left parenthesis x right parenthesis S t subscript 0 close curly brackets end exponent
Gleitet nun ein 16x16-Kernel über das Eingabebild, wird für jeden Bildausschnitt mithilfe des trainierten Netzes der Lichtdurchlässigkeitswert t(x) bestimmt.

Gegenüberstellung von vernebeltem, klarem und erster Version des SmoFod-entnebelten Bildes. Im entnebelten Bild sind Farbverfälschungen und Artefakte erkennbar [3]
Bild 1. Gegenüberstellung von vernebeltem, klarem und erster Version des SmoFod-entnebelten Bildes. Im entnebelten Bild sind Farbver- fälschungen und Artefakte erkennbar [3].
© EDAG

Anhand dieser Werte und Koschmieders Modell lassen sich die ursprünglichen Farbwerte der Pixel errechnen und somit ein klares Bild rekonstruieren. Das DehazeNet wurde weiterentwickelt und optimiert. Es wurde auf Tensorflow portiert, ein realistischer Datensatz wurde zusammengestellt, die Architektur angepasst und ein Pruning (deutsch: Ausdünnen) des Modells durchgeführt. Das Modell war nun in der Lage, vernebelte Bilder zu entnebeln. Wie in Bild 1 ersichtlich, bestand allerdings das Problem, dass Farben verfälscht wurden und Artefakte entstanden.


  1. Nebel – und dennoch klare Sicht
  2. Das Capsule Neural Network

Das könnte Sie auch interessieren

Verwandte Artikel

EDAG Gmbh&Co.KgaA