Schwerpunkte

Volldigitales LKW-Spiegelersatzsystem

Die Ablösung des klassischen Außenspiegels

18. Mai 2021, 09:44 Uhr   |  Von Stefan Schütz, Geschäftsführer bei Solectrix, und Michael Schetter

Die Ablösung des klassischen Außenspiegels
© Mercedes-Benz

Auch unter nächtlichen Arbeitsbedingungen bietet das Spiegelersatzsystem dem Fahrer die volle visuelle Kontrolle über sein Fahrzeug und die unmittelbare Umgebung.

An die Stelle des klassischen Außenspiegels ist beim LKW-Typ Actros von Mercedes-Benz ein Spiegelersatzsystem getreten, für dessen Realisierung sich Mekra Lang die Unterstützung der Embedded-Bildverarbeitungsspezialisten von Solectrix ins Boot holte.

Die Partner arbeiten an der zweiten Generation des volldigitalen Spiegelersatzsystems.

Kamera-Monitor-Systeme für die Rundumsicht sind eine Spezialität von Mekra Lang. Jedoch stellten die speziellen Anforderungen an ein volldigitales Spiegelersatzsystem, das den herkömmlichen analogen Rückspiegel vollständig ersetzen sollte, eine neuartige technische Herausforderung für das Unternehmen dar. Um hierbei erfolgreich zu sein, holte sich Mekra Lang für die Hochleistungs-Bildverarbeitung die Unterstützung der Solectrix, Experten-Unternehmen für Embedded-Bildverarbeitung aus dem Großraum Nürnberg, ins Boot.

So hatte Solectrix bereits vielfältige Erfahrung sowohl mit Automotive-Kameras als auch mit High-End-Bildverarbeitung vorzuweisen, beispielsweise bei der Entwicklung professioneller digitaler Filmkameras. Es begann eine vierjährige Zusammenarbeit, an deren vorläufigem Ende die Übergabe des serienreifen Systems an Mercedes-Benz für den Actros stand. Es folgte die Verleihung des Daimler Supplier Award in der Kategorie „Innovation“ im Februar 2019 an Mekra Lang und die Verleihung des „Hans Lang Supplier of the Year“ Awards an Solectrix. Inzwischen sind die Arbeiten an der zweiten Generation in vollem Gange.

Dass dieses System so komplex und der Erfolg etwas Besonderes war, liegt unter anderem an dieser großen Herausforderung: Während eine Rückfahrkamera, wie sie heutzutage in zahllosen Fahrzeugen als Ergänzung zum normalen Rückspiegel zum Einsatz kommt, als Komfort-Feature gilt, ist eine Kamera innerhalb eines digitalen Spiegelersatzsystems bekanntermaßen ein sicherheitsrelevantes Bauteil – weshalb deren Performance auch unter Aspekten der funktionalen Sicherheit betrachtet werden muss.

Für die Bildverarbeitung bedeutet dies: Die Latenz bei der Darstellung des Bildes muss minimal sein, da Verzögerungen darüber hinaus ein Sicherheitsrisiko wären. Auch müssen eingefrorene Bilder oder sonstige sicherheitskritische Bildstörungen zu jeder Zeit vermieden werden. Zudem muss das dem Fahrer letztendlich präsentierte Bild bei Tag wie bei Nacht auch bei ungünstigen Lichtverhältnissen qualitativ hohen Ansprüchen genügen.

So beeinflusste das angestrebte Sicherheitsniveau bereits die initiale Bauteilauswahl, denn letzten Endes müssen alle verwendeten Systemelemente gemäß dem jeweils geforderten Automotive Safety Integrity Level (ASIL) zertifiziert sein. Als Solectrix zusammen mit Mekra Lang mit der Entwicklung des Spiegelersatzsystems für den Actros begann, gab es auf dem Markt noch keine Kamerasensoren von der Stange, die eine ASIL-Einstufung vorweisen konnten. »Schutz an der richtigen Stelle« lautete das Motto, um Probleme an den entscheidenden Punkten zu erkennen und lösen.
So wurde zum Beispiel jedem festgehaltenen Bild eine Nummer zugewiesen, sodass fehlende oder sich in einer Schleife wiederholende Bilder umgehend entdeckt würden, selbst wenn dies mit bloßem Auge in vielen Situationen kaum zu erkennen wäre. Auch gegen die verzögerte Darstellung von prinzipiell korrekten Bildern wurden Monitoring-Maßnahmen implementiert.

Da die Darstellung des Bildes in besonders hellen und dunklen Umgebungen unter anderem durch eine Fusion von Bilddaten mit verschiedenen Belichtungszeiten (HDR, High Dynamic Range) realisiert wurde, musste zudem sichergestellt werden, dass bei den entsprechenden Verarbeitungsschritten keine wichtigen Bildinformationen verloren gehen. Aus diesem Grund wird die fehlerfreie Übertragung der erfassten und verarbeiteten Bilddaten kontinuierlich überprüft. Dazu kamen weitere Echtzeitüberwachungsfunktionen für Versorgungsspannungen, Clocks und die Temperatur entscheidender Bauteile.

Mercedes-Benz
© Mercedes-Benz

Keine toten Winkel mehr, kein mechanisches Nachstellen der Außenspiegel: Mit dem volldigitalen LKW-Spiegelersatzsystem des Actros erhält der Fahrer unabhängig von Wetter- und Lichtbedingungen alle notwendigen Informationen zum sicheren Fahren und Manövrieren mit seinem LKW.

Hilfreich war hier die umfangreiche Vorerfahrung im Bereich HiL (Hardware in the Loop), die Solectrix zuvor schon mit anderen Automotive-Projekten sammeln konnte, in denen die zuverlässige Funktion von Fahrerassistenzsystemen sichergestellt wird. Eine solche Hilfsfunktion war von Anfang an ein fester Bestandteil des Spiegelersatzsystems: das Trailer Panning, das ein automatisches Nachziehen des Rückspiegel-Bildausschnitts abhängig von der Position des Aufliegers realisiert und so für die nötige Übersicht sorgt. Denn im Gegensatz zu einem regulären Rückspiegel kann der Fahrer den Bildausschnitt beim digitalen Pendant natürlich nicht verändern, indem er wie beim traditionellen Außenspiegel aus einem anderen Winkel auf das Display schaut.

Auch während der Fahrt ist eine manuelle Justierung völlig impraktikabel. Daher muss das System durch klassische Bildanalyse, Sensorfusion oder künstliche Intelligenz erkennen, in welchem Teil des erfassten Bildes der Auflieger zu sehen ist, und den für den Fahrer sichtbaren Teil entsprechend anpassen. Was in der Theorie eine vergleichsweise leichte Aufgabe darstellt, stellt in der Praxis aufgrund der großen Menge an Auflieger-Modellen und ihren Eigenheiten in Kombination mit potenziell ungünstigen Sichtverhältnissen eine große Herausforderung dar.

Ob Automotive-Projekte, Medizin-Anwendungen oder der Einsatz im industriellen Bereich – jede Branche bringt für Kamerasysteme eigene Anforderungen an die Bildqualität und die funktionale Sicherheit mit sich. Doch unabhängig davon, ob die Kamera letztendlich in einem Auto, einer industriellen Produktionsanlage oder in einem digitalen 3D-Mikroskop zum Einsatz kommt – die grundsätzliche Anbindung an den Sensor und die Verarbeitung der Bilddaten gestaltet sich im Kern ähnlich. Zum Einsatz kommen bewährte Algorithmen für Bildverarbeitungsschritte wie Sensorkompensation, De-Mosaicing oder Bildverbesserung.

Im Falle des Actros-Projekts musste die Bildqualität höchsten Ansprüchen genügen, um die gewünschten Fahrerassistenz-Funktionen vollends umsetzen zu können. So wurde die Bildverarbeitungs-Pipeline auf maximalen Dynamikumfang und höchste Farbtreue, die auch in unterschiedlichsten Lichtverhältnissen gewahrt werden sollte, optimiert. Skalierungsschritte wurden minimiert und eine pixelgenaue Darstellung auf dem finalen Display realisiert, um das Bild so scharf und detailreich wie möglich zu machen. Um die jeweiligen Anforderungen an Auflösung, Frame-Rate und Anzahl der parallelen Ausgänge zu erfüllen, ist die dafür eingesetzte Signal Pipeline (ISP) flexibel konfigurierbar. Je nach Projekt lässt sich die Solectrix-Eigenentwicklung in einem FPGA oder auf Softwarebasis implementieren.

Welche Zielhardware für ein solches Projekt ausgewählt wird, hängt von vielen Faktoren ab. Wie so oft setzte Solectrix auch hier auf FPGAs. Diese programmierbaren Logik-Bausteine ermöglichen die parallele Verarbeitung von großen Datenmengen ohne Verzögerung und eignen sich somit hervorragend für das Aufbereiten von Bilddaten „on the fly“. Die damit realisierbaren Schritte reichen von der farblichen Aufbereitung über Rauschfilter und Defektpixelkorrektur bis hin zur Echtzeit-Komprimierung der Bilddaten in bekannte Videoformate zwecks Aufzeichnung oder zum Streaming für Liveübertragung.

Darüber hinaus ermöglicht der Einsatz eines FPGA die Implementierung aller gängigen oder spezifischen Input- und Output Interfaces, von LVDS oder CSI-2 bis hin zu Multigigabit-Schnittstellen wie DisplayPort, HDMI oder UHD-SDI. Und auch im zukunftsträchtigen Bereich der künstlichen Intelligenz sind FPGAs fester Bestandteil des Solectrix-Konzeptes, das mit einem eigens entwickelten KI-Ökosystem die Implementierung von neuronalen Netzen für maschinelles Lernen im Embedded-Bereich ermöglicht. 

Auf Facebook teilen Auf Twitter teilen Auf Linkedin teilen Via Mail teilen

Das könnte Sie auch interessieren

Verwandte Artikel

Solectrix GmbH, Mercedes Benz AG EP/ZEMM