Bildverarbeitung Dynamikerweiterung bei CMOS-Bildsensoren

Unter den heute verfügbaren WDR-Technologien stellen CMOS-Bildaufnehmer mit mehreren partiellen Resets eine kostengünstige Lösung dar. Sie verbinden eine hohe Empfindlichkeit bei geringer Helligkeit mit einem extrem breiten Dynamikbereich, der sich einfach auf den Kontrastumfang der jeweiligen Szene abstimmen lässt.

Kameras sind die Augen in vielfältigen Anwendungen – ob im Überwachungsbereich, in der „Machine Vision“ oder in den neuesten Automodellen. In allen diesen Anwendungen treten bestimmte Probleme auf, wie etwa Übersättigung, sonnenbedingte Blendung, Dämmerlicht oder völlige Dunkelheit. Um hochwertige Bilder zu bekommen, sind Kameras mit hoher Empfindlichkeit und großem Dynamikbereich erforderlich. Der aus dem Automobilbereich hervorgegangene Chip- und Sensor-Hersteller Melexis hat, gestützt auf seine Erfahrung im Automotive-Sektor, das Kameramodul „MLX75304“ entwickelt (Bild 1), das die erforderlichen Eigenschaften aufweist. Den Vorteilen, die ein Kameramodul mit weitem Dynamikbereich mit sich bringt, stehen allerdings auch einige Probleme gegenüber.

Großer Dynamikbereich

Das Verhältnis zwischen der höchsten und der geringsten Lichtintensität in einer Szenerie wird als der szeneninterne Dynamikbereich bezeichnet. Ist der Dynamikbereich einer Kamera zu gering, um den Kontrastumfang einer Szene wiederzugeben, gehen unter Umständen wichtige Bilddetails unwiederbringlich verloren. Auch eine nachträgliche Bearbeitung kann diese Einzelheiten nicht mehr regenerieren. Wenn es darauf ankommt, über einen weiten Bereich von Helligkeiten und Beleuchtungsrichtungen möglichst zuverlässige Bildinformationen zu bekommen, ist der Einsatz einer Hochkontrast-Aufnahmetechnik „Wide Dynamic Range“ (WDR) oder „High Dynamic Range“ (HDR) erforderlich.

In der „Machine Vision“ können nur durch einen weiten Dynamikbereich an Objekten Merkmale oder Defekte erkannt werden, die sich nur wenig vom ganzen Objekt unterscheiden. Dies gilt insbesondere dann, wenn das Hauptobjekt Zonen mit großer und mit geringer Helligkeit aufweist. Ein Beispiel hierfür ist das Erkennen von Flecken auf Melonen. Darüber hinaus werden bei Verwendung einer HDR-Kamera geringere Anforderungen an die Beleuchtung gestellt.

In der Überwachung müssen Objekte detailreich abgebildet werden, um etwa Gesichter bei unterschiedlichen Lichtverhältnissen erkennen zu können. Die WDR-Technik ist besonders vorteilhaft in Szenen, in denen sowohl sehr helle als auch sehr dunkle Zonen vorkommen. Ein Beispiel sind Aufnahmen aus Räumen heraus nach draußen. Hier bieten WDR-Kameras eine gute Detailwiedergabe im Innen- und Außenbereich.

Im Bereich Auto und Verkehr bringen Fahrzeugscheinwerfer, Ein- und Ausfahrten von Tunnels sowie sonnenbedingte Blendeffekte extreme Helligkeitsschwankungen innerhalb einer Szene mit sich. Gehört eine Kamera zum Sicherheitskonzept eines Fahrzeugs, kommt der Leistungsfähigkeit beim Auswerten von Bildinformationen entscheidende Bedeutung zu. Bildelemente wie etwa Hindernisse, Fahrbahnmarkierungen und Ampeln müssen unter allen Bedingungen zuverlässig erkannt werden. So genannte „Photospace“-Modelle zur Quantifizierung von Bildszenerien haben ergeben, dass in Verkehrssituationen Kontrastverhältnisse vorkommen können, die einen weiten Dynamikbereich von mehr als 120 dB erfordern.

In Bild 2 sind zwei Aufnahmen einer Rückfahr-Kamera gegenübergestellt, die beide bei einem extremen Unterschied zwischen Lichtern und Schatten entstanden. Im Bild einer Kamera mit linearer Kennlinie (a) gehen viele Details in den ganz hellen und den ganz dunklen Zonen verloren. Bild b stammt dagegen von einer WDR-Kamera, die sich auf extreme Lichtbedingungen einstellt und auf diese Weise sämtliche wichtigen Einzelheiten der Szene erfasst. Nur dieses Bild ist so detailreich, dass es vom „Machine Vision“-System nach entsprechender Analyse benutzt werden kann, um den Fahrer über die vorzufindenden Bedingungen zu informieren.

Hohe Empfindlichkeit

Unter einer hohen Empfindlichkeit versteht man die Fähigkeit des Bildsensors zum Erkennen eines sehr schwachen Licht-Signals knapp über dem Grundrauschen des Sensors. Das Grundrauschen wiederum hängt unmittelbar mit dem Design des Bildsensors zusammen; es nimmt mit steigender Temperatur zu. In der „Machine Vision“ wird eine hohe Empfindlichkeit besonders zum Erkennen von Objektmerkmalen benötigt, die sich im Schatten der verwendeten externen Lichtquelle befinden. Darüber hinaus senkt die Verwendung eines hochempfindlichen Bildsensors die Kosten für das externe Beleuchtungssystem. Bei der „Überwachung“ ist die Verwendung hochempfindlicher Kameras dann sinnvoll, wenn in der Dämmerung und nachts keine externe Lichtquelle zur Verfügung steht.

WDR-Verfahren

Unter den verschiedenen verfügbaren WDR-Verfahren zeichnet sich die „Multiple Reset“-CMOS-Technologie durch hohe Empfindlichkeit, eine effektive „Highlight Compression“, gute Anpassungsfähigkeit und günstige Kosten aus. Die adaptive Highlight Compression wird durch ein partielles Zurücksetzen der Pixel erreicht. Um die Informationen im mittleren Helligkeitsbereich zu erhalten, wird der Kennlinienverlauf des Bildsensors verändert, und zwar dadurch, dass während der Aufnahme mehrere „partielle Resets“ unterschiedlicher Länge vorgenommen werden.

Damit Raum- und Farb-Informationen verlässlich erfasst werden können, muss zudem der Signal-Rausch-Abstand über den gesamten Verlauf der Kennlinie hinweg eine bestimmte Wahrnehmbarkeitsgrenze übersteigen (Bild 3).

Labormessungen und Modellsimulationen von „Multiple Slope“-WDR-Bildsensoren in CMOS-Technologie belegen, dass es auf Anzahl, Zeitpunkt und Höhe der Reset-Schwelle ankommt. Werden zu wenige Schwellen verwendet, dann entstehen Bereiche mit unzureichendem lokalem Kontrast. Dies hat gravierende Auswirkungen auf die Erkennungsfähigkeit und schränkt zudem den effektiven Dynamikbereich ein.

Durch die Festlegung von mindestens fünf Reset-Schwellen lässt sich das Potential dieses Verfahrens optimal ausschöpfen. Es ergibt sich dabei ein Dynamikbereich bis zu 160 dB. Die Anpassung an den Dynamikbereich der jeweiligen Szene ist optimal, wenn Dauer und Spannung der Schwellen mittels modellbasierter Algorithmen festgelegt werden. Vergleiche mehrerer Aufnahmeverfahren und Technologien mit logarithmischen Kennlinien belegen, dass „Multiple Reset“ für die Zuverlässigkeit der Erkennung Vorteile bietet.

Mehrfache „partielle Resets“

Die gelegentlich auch als „Multi Slope“- oder „Charge Spilling“-Verfahren bezeichnete Anwendung mehrerer „partieller Resets“ erweitert den Dynamikbereich eines Standard-CMOS-Bildelements (Pixel); ein kommerziell verfügbares Beispiel dieses Verfahrens ist unter dem Namen „Autobrite“ bekannt.

Bild 4 stellt ein typisches 3TCMOS-Pixel dar. An das Gate des Transistors T1 wird vor der Aufnahme eine Reset-Spannung angelegt. Die parasitäre Kapazität der Fotodiode wird dadurch bis auf den Reset-Pegel aufgeladen. Während der Aufnahme werden das Gate von T1 abgeschaltet und die parasitäre Kapazität über die Fotodiode D1 entladen. Die Spannungsänderung während der Aufnahmephase hängt dabei ab von der Stärke des einfallenden Lichts. Bei völliger Entladung der Kapazität kommt es zur Sättigung.

Bild 5 zeigt, wie am Gate von T1 während der Aufnahme mehrere partielle Resets mit abnehmender Spannung vorgenommen werden, um den Dynamikbereich zu vergrößern. Die Geraden geben den Verlauf der Fotodioden-Spannung über der Zeit wieder. Dabei nimmt die Entladerate mit der Lichtintensität zu.

Die schwarze Linie zeigt das Verhalten eines mit relativ wenig Licht beleuchteten Pixels, die farbigen Linien stehen für Pixel mit immer größerer Helligkeit, bei denen es vor Beendigung der Aufnahme zu einer völligen Entladung und damit zur Sättigung kommen würde. Bei den hellen Pixeln, bei denen die Fotodioden-Spannung unter das Niveau der Spannung für den partiellen Reset absinkt, wird die Kapazität neu aufgeladen. Je nach Helligkeit kann zur Vermeidung der Sättigung auch mehr als ein partieller Reset erforderlich sein. Im Beispiel von Bild 5 werden bei den blauen Linien ein Reset, bei den roten zwei und bei den grünen Linien drei Resets durchgeführt.

Dieses Verfahren erweitert den Dynamikbereich und liefert eine stückweise lineare Näherung einer idealen Kennlinie, die dafür sorgt, dass Details in dunklen Zonen im linearen Bereich erkannt werden, während die Lichter mithilfe einer nichtlinearen Dynamikbereich-Vergrößerung komprimiert werden (vergleiche Bild 3). Durch Anpassung von Anzahl, Höhe und Zeitpunkt der Reset-Schwellen lässt sich die Kennlinie in Echtzeit anpassen, um den Dynamikbereich der jeweiligen Szene zu berücksichtigen und zu gewährleisten, dass der Signal-Rausch-Abstand zu allen Zeiten über einem bestimmten Mindestwert liegt.

Automatische WDR-Regelung

Um eine WDR-Regelung zu implementieren, sind viel Fachwissen und eine Menge Ressourcen notwendig. Einige Hersteller statten ihre Kameras bereits werksseitig mit einer WDRRegelung aus. Eine Prüfung der mitgelieferten Algorithmen in der jeweiligen Anwendung ist unverzichtbar, da die einzelnen Algorithmen sehr unterschiedlich auf den Dynamikbereich innerhalb einer Szene reagieren. Melexis hat in der Kamera „MLX75403“ den patentierten „Autobrite“-Algorithmus implementiert. Dieser enthält einen Mechanismus, mit dem abhängig von der jeweiligen Szene sowohl die Kennlinie als auch die gesamte Integrationszeit angepasst werden können. Im Wesentlichen wird der Dynamikbereich durch Variation des Timings und der Spannungshöhe des Reset-Signals in Echtzeit erweitert (Tabelle).

 Mehrfachintegrationlogarithmische KennlinieAutobrite
lineares Verhalten bei wenig Lichtgutmangelhaftgut
nichtlineares Verhalten bei viel Lichtgutgutgut
Zuverlässigkeitmangelhaftnicht geprüftgut
Kosteneffektivitätmangelhaftnicht geprütgut
Anpassungsfähigkeitmittelmangelhaftgut
Programmierbarkeitmitelmangelhaftgut
Methoden zur Erweiterung des Dynamikbereichs im Überblick.

Der Regelmechanismus lässt sich so konfigurieren, dass er sich automatisch an jede Umgebung anpasst. Zudem kann er für eine bestimmte Anwendung programmiert werden, um ein besseres dynamisches Verhalten als bei anderen Verfahren zu erreichen.

Bild 6 zeigt die Blockschaltung der Autobrite-Regelung. Die Regelschleife beginnt damit, dass der Bildsensor ein Bild erfasst und in Statistik-Register 1 und 2 die Statistik-Daten zur betreffenden Szene erstellt werden. Dazu zählen etwa die durchschnittliche Intensität und die Anzahl der Pixel, die einen bestimmten Grenzwert überschreiten. Ein proprietärer Regelmechanismus, der zudem auf eine bestimmte Anwendung zugeschnitten werden kann, ermittelt an Hand dieser Statistiken die optimale Kennlinie und die optimale Integrationszeit. Die berechneten Werte oder auch vom Anwender vorgegebene Werte werden dann an die Steuerungseinheit für Spannung und Timing weitergegeben, die die Schwellenspannungen für den Bildsensor erzeugt.

Durch die gleichzeitige Berechnung der Integrationszeit und der erforderlichen Dynamikbereich-Erweiterung lassen sich relativ rasch die optimalen Einstellwerte für den Bildsensor ermitteln. Erforderlich ist diese kurze Ansprechzeit in Anwendungen mit schnellen, starken Änderungen der Lichtverhältnisse, etwa durch Scheinwerfer anderer Fahrzeuge. Vorteilhaft an diesem Konzept ist zudem, dass die Regelalgorithmen auf eine bestimmte Applikation zugeschnitten werden können.

 

Cliff De Locht (cde@melexis.com) hat sich nach seinem Ingenieurabschluss 1992 im Bereich „Mikroelektronik“ an der Brüsseler Universität auf die Bereiche „Luftfahrt“ und „Raumfahrt-Engineering“ spezialisiert. Dabei lagen in Toulouse (Frankreich) seine Arbeitsschwerpunkte auf der ASIC-Konzeption und -Herstellung, bei der Europäischen Raumfahrtbehörde (ESA) auf Satelliten-Bordsystemen. Seine berufliche Laufbahn begann 1994 als Forschungs- und Entwicklungsprojektleiter bei einem bedeutenden Telekommunikations-Netzbetreiber in Belgien, wo er später im „System Engineering“-Management und schließlich im Produktmanagement tätig war. Heute ist er Produktmanager der Opto-Abteilung bei Melexis.