5. Bildsensor und Beleuchtung: Die großen Fortschritte in der CMOS-Sensortechnik bei FSI (Frontside Illumination) und BSI (Backside Illumination) ermöglichen auch bei wenig Licht Bilder mit einer höheren Auflösung. Die richtige Beleuchtung ist dennoch ein wichtiger Aspekt. Die Beleuchtungsleistung basiert auf drei Hauptmerkmalen von Bildsensoren: Quanteneffizienz (QE), Dunkelstrom und Sättigungskapazität. Die Quanteneffizienz gibt das Verhältnis an, wie viele der eingefallenen Photonen in Elektronen umgewandelt werden. Da sich die Quanteneffizienz mit der Wellenlänge ändert, lässt sie sich am besten als Funktion der Wellenlänge darstellen und liefert damit ein genaues Maß für die Lichtempfindlichkeit des Sensors. Und: Wird ein Sensor in einer Kamera eingesetzt, ist die maximale Quanteneffizienz der Kamera aufgrund externer optischer und elektronischer Effekte niedriger als die des Sensors.
Dunkelstrom und Sättigungskapazität müssen ebenfalls beim Design von Bildverarbeitungssystemen beachtet werden. Dunkelstrom misst die Schwankungen in der Anzahl der Elektronen, die thermisch innerhalb des CMOS-Bildsensors erzeugt werden und Rauschen verursachen können. Die Sättigungskapazität wiederum kennzeichnet die Anzahl der Elektronen, die in einem einzelnen Pixel gespeichert werden können. Auch wenn Kamerahersteller diese Parameter typischerweise nicht in ihren Datenblättern angeben, können sie zusammen mit den QE-Messungen genutzt werden, um das maximale Signal-Rausch-Verhältnis (S/N), die absolute Empfindlichkeit und den Dynamikbereich einer Anwendung abzuleiten.
Die richtige Beleuchtung hilft dabei, die Genauigkeit und Effizienz von Bildverarbeitungsanwendungen zu erhöhen. Weitere Faktoren, die bei der Beleuchtung zu berücksichtigen sind, sind die Wellenlänge, z. B. Infrarot, ob es sich um eine feste Beleuchtung handelt und wo die Beleuchtung platziert wird. Es hat sich gezeigt, dass Lichtquellen und Reflexionen, die direkt in die Kameras von Bildverarbeitungssystemen strahlen, die Genauigkeit der Objekterkennung verringern.
6. Berücksichtigung des Hintergrundes: Der Hintergrund kann MV-Systemen Probleme bereiten, über die der Entwickler sich im Klaren sein muss. Zum Beispiel könnte es passieren, dass ein Sicherheitssystem aufgrund des fehlenden Kontrasts nicht zwischen einem Objekt und einer dahinterstehenden Person unterscheiden kann. Reflektierende Metallobjekte in einer Fabrikumgebung wiederum könnten zur Folge haben, dass Bilderkennungsalgorithmen nicht mehr richtig funktionieren. Diese Schwierigkeiten lassen sich mit aufeinander abgestimmten Algorithmen überwinden, indem sie verschiedene Wellenlängen des elektromagnetischen Spektrums (EM) wie Infrarot und adaptive Beleuchtung nutzen.
7. Objektposition und -ausrichtung: Die KI hilft MV-Systemen, Objekte zu erkennen, die sie mithilfe von Trainingsdaten gelernt hat. Wenn dasselbe Objekt seine Ausrichtung ändert, kommen manche MV-Systeme ins Straucheln. Dieses Problem kann reduziert werden, indem genaue Trainingsdaten für die KI benutzt werden, ein Unterfangen, das sehr Daten-intensiv ist.
8. Objektskalierung – wenn ein Mensch einen Basketball aus 2 Meter Entfernung und aus 10 Meter Entfernung betrachtet, weiß er immer noch, dass es sich um dasselbe Objekt handelt. Ein vielfältiger Datensatz für das Training und genaue Tests der KI können dazu beitragen, dass die Entfernung eines Objekts bei der Erkennung kein Problem darstellt. Auch die Wahl des Objektivs und der Brennweite wirkt sich direkt auf die Leistungsfähigkeit der Anwendung aus. Die meisten Bildverarbeitungssysteme arbeiten mit Pixelwerten, geht es aber um bewegte Anwendungen, ist es auch wichtig, Skalierungsaspekte zu berücksichtigen.
9. Objektverformungen: Die Fähigkeit eines Bildverarbeitungssystems, dasselbe Objekt mit leichten Abweichungen zu erkennen, kann von entscheidender Bedeutung sein, insbesondere im Verkehrs- und Security-Bereich. Fußgänger mit beweglichen Gliedmaßen zu erkennen, ist nicht nur für die Genauigkeit der Anwendung wichtig, sondern auch für einen sicheren Betrieb. Auch dieser Punkt lenkt den Fokus auf qualitativ hochwertige Trainingsdaten, aus denen die KI lernen kann, aber auch in diesem Fall der Hinweis: das ist Daten-intensiv.
10. Handlung und Bewegung - schnelle Bewegungen können den Bildverarbeitungssystemen Probleme bereiten, was sich in sicherheitskritischen Anwendungen nachteilig auswirken kann. Diese Schwierigkeit kann durch die richtige Auswahl der Blende des Bildsensors, spezielle Programmieralgorithmen und Beleuchtung reduziert werden. Bei billigen Bildsensoren werden oft so genannte Rolling Shutter verwendet, die schnell bewegte Bilder verfälschen können. Die so genannten Global-Shutter-Sensoren sind zwar teurer, aber notwendig, um schnelle Bewegungen korrekt zu erfassen.