Die Durchführung komplexer, häufig verwendeter Verarbeitungsfunktionen wie Bild-Transformationen, Filter, Histogramme und Pyramidenanpassung in spezieller Hardware anstatt in Software beschleunigt die Ausführung der Algorithmen, unterstützt die Echtzeit-Leistung und erhöht die Energieeffizienz. Ein geeigneter Prozessor muss mehrere Fahrerassistenzanwendungen gleichzeitig ausführen können. Ein Prozessor mit mehreren Engines und einer Reihe Beschleuniger in Hardware ist daher die ideale Plattform für Fahrzeuge, die sehen können.
Weil immer mehr Fahrerassistenzsysteme über Bilderkennung verfügen, hat Toshiba sein Prozessorangebot für diesen Bereich erweitert. Die Bausteine haben sich von einer Basiskonfiguration mit zwei Media Processing Engines (MPEs), einem Kamera-Eingang und einfachen Hardware-Beschleunigungsblöcken weiterentwickelt. Heute steht die vierte Generation der TMPV760-Prozessoren mit bis zu acht MPEs, acht Kamera-Eingängen und mehreren Hardware-Beschleunigern zur Verfügung. Dazu zählen Pixel-Berechnung und Filterung, eine verbesserte Affine Transformation für die Bildanpassungen sowie Beschleuniger für Histogrammberechnungen.
Toshibas erweiterte „Co-Occurrence Histograms of Oriented Gradients“- (CoHOG) und Structure-from-Motion-Funktionen (SfM) finden sich ebenfalls in spezieller Hardware. Mit diesen Erweiterungen sind die Prozessoren der vierten Generation bis zu zehnmal leistungsfähiger als ihre Vorgängerbausteine.
Original-Bilderkennungstechniken
Toshiba verbessert mit der CoHOG-Technik die Personenerkennung in verschiedenen Situationen, zum Beispiel beim Gehen, Radfahren, Sitzen oder von Menschen in Rollstühlen. Auch die Erkennung von Tieren ist möglich, was eine schnelle und sichere Unterscheidung zwischen lebenden und anderen Objekten garantiert. Ein entscheidender Vorteil von CoHOG ist, dass sich eine umfangreiche Bildverarbeitung erübrigt, wie sie zur Ausführung anderer Erkennungstechniken erforderlich ist, wie bei der Analyse von Shapelets.
CoHOG vergleicht verarbeitete, erkannte Daten mit bekannten Merkmalen menschlicher Körperformen. Die Technik sucht nach Gradientenpaaren für Merkmale wie Schultern, Arme, Beine oder Hüften. Dabei wird angenommen, dass diese Merkmale eine bestimmte Orientierung zueinander haben und innerhalb physiologischer Grenzen, zum Beispiel maximale und minimale Länge der Extremitäten, liegen.
Mit der vierten Generation implementiert Toshiba einen im Funktionsumfang erweiterten CoHOG-Beschleuniger, der eine sehr genaue Fußgängererkennung auch bei Nacht ermöglicht, indem er farbbasierte Gradienten von Full-HD-Bildern analysiert (Bild 2). Der SfM-Beschleuniger analysiert unbekannte Hindernisse, die nicht in der Bildbibliothek enthalten sind. Dazu zählen beispielsweise Leitplanken, Bordsteine und kleinere Objekte auf der Fahrbahn, die bei hoher Geschwindigkeit mit Hilfe einer monokularen Kamera aufgenommen werden.
Software-Unterstützung gewährleisten
Die Projektentwicklung wird durch ein Software-Entwicklungs-Kit (SDK) mit Treibern und Beispiel-Anwendungsprogrammen unterstützt. Hinzu kommt ein Media Processor Debugger und ein Simulator. Verschiedene APIs für die Software-Treiber der Hardware-Beschleuniger und eine Bildverarbeitungsbibliothek sind ebenfalls enthalten.
Toshiba hat eine Reihe von Algorithmen entwickelt, die zur Erkennung von Fußgängern, Fahrzeugen und Fahrbahnmarkierungen dienen. Weitere Algorithmen befinden sich gerade in der Beta-Phase und werden demnächst veröffentlicht. Die TMPV760-Baureihe ermöglicht es Entwicklern, auch ihre eigenen Algorithmen zu implementieren.
Energieeffiziente Verarbeitung und funktionale Sicherheit
Neben der Bilderkennung in Echtzeit tragen die Hardware-Beschleuniger zu einem niedrigeren Energiebedarf des Prozessors bei. Dabei liegt die Verlustleistung je nach Derivat und in Abhängigkeit von den simultan verwendeten Hardware-Einheiten typischerweise zwischen 0,6 und 2 W.
Toshiba entwickelt den Bilderkennungsprozessor ISO-26262-konform. Als Baustein in sicherheitsbezogenen Fahrzeugsystemen erfüllt er den notendigen ASIL und trägt somit zur erforderlichen funktionalen Sicherheit bei.
Der Autor
Klaus Neuenhüskes |
---|
ist Manager Automotive Solution Marketing bei Toshiba Electronics Europe. Der Di¬plom-Ingenieur studierte von 1990 bis 1994 Elektrotechnik an der Hochschule Niederrhein. Bevor er bei Toshiba eintrat, war er als Produktmarketing-Ingenieur bei NEC tätig. |