Elektroniknet Logo

Volldigitales LKW-Spiegelersatzsystem

Die Ablösung des klassischen Außenspiegels

Mercedes-Benz
Auch unter nächtlichen Arbeitsbedingungen bietet das Spiegelersatzsystem dem Fahrer die volle visuelle Kontrolle über sein Fahrzeug und die unmittelbare Umgebung.
© Mercedes-Benz

An die Stelle des klassischen Außenspiegels ist beim LKW-Typ Actros von Mercedes-Benz ein Spiegelersatzsystem getreten, für dessen Realisierung sich Mekra Lang die Unterstützung der Embedded-Bildverarbeitungsspezialisten von Solectrix ins Boot holte.

Die Partner arbeiten an der zweiten Generation des volldigitalen Spiegelersatzsystems.

Kamera-Monitor-Systeme für die Rundumsicht sind eine Spezialität von Mekra Lang. Jedoch stellten die speziellen Anforderungen an ein volldigitales Spiegelersatzsystem, das den herkömmlichen analogen Rückspiegel vollständig ersetzen sollte, eine neuartige technische Herausforderung für das Unternehmen dar. Um hierbei erfolgreich zu sein, holte sich Mekra Lang für die Hochleistungs-Bildverarbeitung die Unterstützung der Solectrix, Experten-Unternehmen für Embedded-Bildverarbeitung aus dem Großraum Nürnberg, ins Boot.

So hatte Solectrix bereits vielfältige Erfahrung sowohl mit Automotive-Kameras als auch mit High-End-Bildverarbeitung vorzuweisen, beispielsweise bei der Entwicklung professioneller digitaler Filmkameras. Es begann eine vierjährige Zusammenarbeit, an deren vorläufigem Ende die Übergabe des serienreifen Systems an Mercedes-Benz für den Actros stand. Es folgte die Verleihung des Daimler Supplier Award in der Kategorie „Innovation“ im Februar 2019 an Mekra Lang und die Verleihung des „Hans Lang Supplier of the Year“ Awards an Solectrix. Inzwischen sind die Arbeiten an der zweiten Generation in vollem Gange.

Dass dieses System so komplex und der Erfolg etwas Besonderes war, liegt unter anderem an dieser großen Herausforderung: Während eine Rückfahrkamera, wie sie heutzutage in zahllosen Fahrzeugen als Ergänzung zum normalen Rückspiegel zum Einsatz kommt, als Komfort-Feature gilt, ist eine Kamera innerhalb eines digitalen Spiegelersatzsystems bekanntermaßen ein sicherheitsrelevantes Bauteil – weshalb deren Performance auch unter Aspekten der funktionalen Sicherheit betrachtet werden muss.

Für die Bildverarbeitung bedeutet dies: Die Latenz bei der Darstellung des Bildes muss minimal sein, da Verzögerungen darüber hinaus ein Sicherheitsrisiko wären. Auch müssen eingefrorene Bilder oder sonstige sicherheitskritische Bildstörungen zu jeder Zeit vermieden werden. Zudem muss das dem Fahrer letztendlich präsentierte Bild bei Tag wie bei Nacht auch bei ungünstigen Lichtverhältnissen qualitativ hohen Ansprüchen genügen.

So beeinflusste das angestrebte Sicherheitsniveau bereits die initiale Bauteilauswahl, denn letzten Endes müssen alle verwendeten Systemelemente gemäß dem jeweils geforderten Automotive Safety Integrity Level (ASIL) zertifiziert sein. Als Solectrix zusammen mit Mekra Lang mit der Entwicklung des Spiegelersatzsystems für den Actros begann, gab es auf dem Markt noch keine Kamerasensoren von der Stange, die eine ASIL-Einstufung vorweisen konnten. »Schutz an der richtigen Stelle« lautete das Motto, um Probleme an den entscheidenden Punkten zu erkennen und lösen.
So wurde zum Beispiel jedem festgehaltenen Bild eine Nummer zugewiesen, sodass fehlende oder sich in einer Schleife wiederholende Bilder umgehend entdeckt würden, selbst wenn dies mit bloßem Auge in vielen Situationen kaum zu erkennen wäre. Auch gegen die verzögerte Darstellung von prinzipiell korrekten Bildern wurden Monitoring-Maßnahmen implementiert.

Da die Darstellung des Bildes in besonders hellen und dunklen Umgebungen unter anderem durch eine Fusion von Bilddaten mit verschiedenen Belichtungszeiten (HDR, High Dynamic Range) realisiert wurde, musste zudem sichergestellt werden, dass bei den entsprechenden Verarbeitungsschritten keine wichtigen Bildinformationen verloren gehen. Aus diesem Grund wird die fehlerfreie Übertragung der erfassten und verarbeiteten Bilddaten kontinuierlich überprüft. Dazu kamen weitere Echtzeitüberwachungsfunktionen für Versorgungsspannungen, Clocks und die Temperatur entscheidender Bauteile.

Relevante Anbieter

Mercedes-Benz
Keine toten Winkel mehr, kein mechanisches Nachstellen der Außenspiegel: Mit dem volldigitalen LKW-Spiegelersatzsystem des Actros erhält der Fahrer unabhängig von Wetter- und Lichtbedingungen alle notwendigen Informationen zum sicheren Fahren und Manövrieren mit seinem LKW.
© Mercedes-Benz

Hilfreich war hier die umfangreiche Vorerfahrung im Bereich HiL (Hardware in the Loop), die Solectrix zuvor schon mit anderen Automotive-Projekten sammeln konnte, in denen die zuverlässige Funktion von Fahrerassistenzsystemen sichergestellt wird. Eine solche Hilfsfunktion war von Anfang an ein fester Bestandteil des Spiegelersatzsystems: das Trailer Panning, das ein automatisches Nachziehen des Rückspiegel-Bildausschnitts abhängig von der Position des Aufliegers realisiert und so für die nötige Übersicht sorgt. Denn im Gegensatz zu einem regulären Rückspiegel kann der Fahrer den Bildausschnitt beim digitalen Pendant natürlich nicht verändern, indem er wie beim traditionellen Außenspiegel aus einem anderen Winkel auf das Display schaut.

Auch während der Fahrt ist eine manuelle Justierung völlig impraktikabel. Daher muss das System durch klassische Bildanalyse, Sensorfusion oder künstliche Intelligenz erkennen, in welchem Teil des erfassten Bildes der Auflieger zu sehen ist, und den für den Fahrer sichtbaren Teil entsprechend anpassen. Was in der Theorie eine vergleichsweise leichte Aufgabe darstellt, stellt in der Praxis aufgrund der großen Menge an Auflieger-Modellen und ihren Eigenheiten in Kombination mit potenziell ungünstigen Sichtverhältnissen eine große Herausforderung dar.

Ob Automotive-Projekte, Medizin-Anwendungen oder der Einsatz im industriellen Bereich – jede Branche bringt für Kamerasysteme eigene Anforderungen an die Bildqualität und die funktionale Sicherheit mit sich. Doch unabhängig davon, ob die Kamera letztendlich in einem Auto, einer industriellen Produktionsanlage oder in einem digitalen 3D-Mikroskop zum Einsatz kommt – die grundsätzliche Anbindung an den Sensor und die Verarbeitung der Bilddaten gestaltet sich im Kern ähnlich. Zum Einsatz kommen bewährte Algorithmen für Bildverarbeitungsschritte wie Sensorkompensation, De-Mosaicing oder Bildverbesserung.

Im Falle des Actros-Projekts musste die Bildqualität höchsten Ansprüchen genügen, um die gewünschten Fahrerassistenz-Funktionen vollends umsetzen zu können. So wurde die Bildverarbeitungs-Pipeline auf maximalen Dynamikumfang und höchste Farbtreue, die auch in unterschiedlichsten Lichtverhältnissen gewahrt werden sollte, optimiert. Skalierungsschritte wurden minimiert und eine pixelgenaue Darstellung auf dem finalen Display realisiert, um das Bild so scharf und detailreich wie möglich zu machen. Um die jeweiligen Anforderungen an Auflösung, Frame-Rate und Anzahl der parallelen Ausgänge zu erfüllen, ist die dafür eingesetzte Signal Pipeline (ISP) flexibel konfigurierbar. Je nach Projekt lässt sich die Solectrix-Eigenentwicklung in einem FPGA oder auf Softwarebasis implementieren.

Welche Zielhardware für ein solches Projekt ausgewählt wird, hängt von vielen Faktoren ab. Wie so oft setzte Solectrix auch hier auf FPGAs. Diese programmierbaren Logik-Bausteine ermöglichen die parallele Verarbeitung von großen Datenmengen ohne Verzögerung und eignen sich somit hervorragend für das Aufbereiten von Bilddaten „on the fly“. Die damit realisierbaren Schritte reichen von der farblichen Aufbereitung über Rauschfilter und Defektpixelkorrektur bis hin zur Echtzeit-Komprimierung der Bilddaten in bekannte Videoformate zwecks Aufzeichnung oder zum Streaming für Liveübertragung.

Darüber hinaus ermöglicht der Einsatz eines FPGA die Implementierung aller gängigen oder spezifischen Input- und Output Interfaces, von LVDS oder CSI-2 bis hin zu Multigigabit-Schnittstellen wie DisplayPort, HDMI oder UHD-SDI. Und auch im zukunftsträchtigen Bereich der künstlichen Intelligenz sind FPGAs fester Bestandteil des Solectrix-Konzeptes, das mit einem eigens entwickelten KI-Ökosystem die Implementierung von neuronalen Netzen für maschinelles Lernen im Embedded-Bereich ermöglicht. 


Das könnte Sie auch interessieren

Yates_Chris

Bildverarbeitungsbranche im Jahr 2021

Künstliche Intelligenz als neue Normalität

Apple hat den Bereich autonomes Fahren rund um das Projekt Titan neu strukturiert.

Gerüchteküche

Berichte über Apple-Auto verdichten sich

embedded world 2021 DIGITAL Laptop

Autonom und vernetzt

Automotive-Trends auf der embedded world…

Um Aquaplaning in den Griff zu bekommen, haben Easyrain, Bosch und die Audi-Tochter Italdesign gemeinsam an einem System gearbeitet, das jetzt an einem Serienfahrzeug erprobt wurde.

Easyrain, Bosch und Italdesign

Anti-Aquaplaning-System bei dynamischen…

VC picoSmart von Vision Components

Mehr Anwendungen durch Embedded Vision

Embedded-Module statt Bildverarbeitungs-PCs

Video-Capture-Starterkit von Solectrix

Solectrix auf der embedded world Digital

Video-Capture-Starterkit und…

Mit den OTA-Updates fallen Werkstattbesuche für Software-Updates weg.

Zusätzliche Sicherheitsfunktionen

Over-the-Air-Updates für Polestar 2 verfügbar

Soche Ansichten ermöglicht das Next Gen 3D Surround View von Magna.

Neue Aufträge mehrerer Autohersteller

Magna liefert 3D-Surround-View-System

Das Start-up Elexir will ein individuelles Nutzungserlebnis über verschiedene Fahrzeuge hinaus sicherstellen.

Neue Funktionen auf Knopfdruck

Markenübergreifende Personalisierung von…

Vom 09. bis 11.Februar 2021 fand zum siebten Mal in Folge der Automotive Ethernet Congress statt.

Automotive Ethernet Congress 2021

Ist Technologievielfalt vorteilhaft für das…

Auf dem Technologie-Komplex in Stuttgart-Untertürkheim konzentriert sich Mercedes-Benz auf Elektroantriebs- und Batterietechnologien.

Mercedes-Benz Drive Systems Campus

Electric-first, einschließlich der Produktion von…

Das Logo der EMVA

EMVA-1288-Kamerastandard

Neue Version 4.0 als Release Candidate publiziert

Embedded Marktstudie

Embedded-Marktstudie

Software-Entwicklung wichtiger denn je

Das Software-definierte Auto der Zukunft wird durch Hochleistungsrechner, eine leistungsfähige Softwareplattform, intelligente Sensoren und smarte Aktuatoren ermöglicht.

Software-definiertes Auto entwickeln

ZF stellt neue Generation des ZF ProAI auf Auto…

Das Ford-System verfügt über ein doppelt so großes Sichtfeld wie konventionelle Rückspiegel.

Smarter Rückspiegel

Bessere Sicht nach hinten für Ford-Nutzfahrzeuge

Sicherheitskriterien müssen nun zu einem früheren Zeitpunkt in den Entwicklungsprozess eingeführt werden.

Entwicklungs- und Tooling-Ansätze

MISRA und AUTOSAR Coding Compliance in der Praxis

Die Parkplatzvorhersage erstellt Parkamo in Zusammenarbeit mit einem Anbieter von Verkehrsdaten.

Find and Park

Parkamo-App erleichtert Parkplatzsuche

Produkte des Jahres Embedded Systemdesign

Produkte des Jahres 2021

Die Sieger der Kategorie »Embedded-Systemdesign«

Harman bringt sein Ignite-Store-Developers-Portal auf den Markt.

Harman

Ein Automotive Hub für Android-Entwickler

Continental hat einen Auftrag für die Ausstattung mit High-Performance-Computern für Telematikanwendungen im Nutzfahrzeugbereich gewonnen.

Continental

Erster Auftrag für Hochleistungsrechner im…

Basler, Geschäftszahlen 2020

Industrielle Bildverarbeitung

Basler und Silicon Software verschmelzen

Basler, Geschäftszahlen 2020

Machine Vision

Merger of Silicon Software with Basler

Mit dem neuen Energiemanagement-System adressiert ZF Friedrichshafen Bus- und Lkw-Hersteller, die die nötigen Entwicklungskapazitäten nicht haben.

Elektrische Nutzfahrzeuge

ZF präsentiert Energiemanagement-Software

Verwandte Artikel

Solectrix GmbH, Mercedes Benz AG EP/ZEMM