Kernstück der Systeme ist die Signalverarbeitung. Eine Vielzahl der Bildverarbeitungs- und Lernalgorithmen werden zum Klassifizieren, Identifizieren und Berichten von Fehlern eingesetzt. Die verwendeten Techniken unterscheiden sich und sind proprietär, lassen sich aber in gemeinsame Kategorien gruppieren. Zu den Kategorien zählen Bilderzeugung, Bildoptimierung, morphologische Operationen sowie Merkmalsextraktion und -erkennung. Ein einzelnes System muss nicht immer alle Kategorien aufweisen.
In einigen Anwendungen wird das Bild direkt von entsprechenden Kameras aufgenommen und erzeugt, dazu gehören optische, Röntgen- und Thermographiesysteme. In einem Ultraschallsystem dagegen ist eine Vorverarbeitung erforderlich sind, um das Bild zu erzeugen. Die Strukturinformationen in Ultraschallsystemen werden anhand der Hüllkurven der empfangenen HF-Daten ermittelt. Für die Bilderzeugung mit dem C6678-DSP können die Entwickler auf die Festkomma- und Gleitkomma-Operationen zurückgreifen. Wenn also in einem Ultraschallsystem nur wenige Wandlerelemente für die Strahlformung verwendet werden, sind Festkommaoperationen von Vorteil. Wird dagegen eine große Anzahl an Wandlerelementen verwendet, ist die Verwendung von Gleitkomma-Operationen zu empfehlen, da ein hoher Dynamikbereich der Ausgangsdaten erzielt wird. In Röntgenstrahlsystemen erfolgt die Bilderzeugung mit
tomographischen Verfahren, wobei ebenfalls ein hoher dynamischer Ausgangsbereich erzielt wird und Gleitkomma-Operationen von Vorteil sind.
Bei der Bildoptimierung werden Rauscheffekte beseitigt sowie Kanten und Kontraste verbessert. Ein häufig eingesetztes Verfahren zur Rauschminderung sind nichtlineare Filtervorgänge wie die Medianfilterung. Für die Bildoptimierung werden hoch entwickelte, nichtlineare Filterverfahren wie die bilaterale Filterung eingesetzt, während der Kontrast durch einen Histogrammausgleich verbessert wird. Kanten werden mithilfe von Algorithmen wie der Unscharfmaskierung oder mit einem Sobel-Filter verbessert. Mit Kantendetektionsalgorithmen wie dem Canny-Edge-Algorithmus lassen sich Übergänge zwischen flächigen Bereichen eines Bildes erfassen.
Diese Bildverarbeitungsschritte werden von rechenintensiven Anwendungen durchgeführt, die eine hohe Prozessorleistung erfordern, wie sie von homogenen Multicore-DPSs wie dem C6678 bereitgestellt werden. Zudem sorgen Multicore-DSPs für eine hohe Skalierbarkeit des Systems, so dass bestehende Bildverarbeitungstechniken auf mehrere Prozessorkerne verteilt werden können, ohne die Bearbeitungszeit eines Bildes bis zur Anzeige zu beeinträchtigen. Abhängig davon, ob das Bild im Festkomma- oder Gleitkomma-Format gespeichert ist, muss der Entwickler zum Durchführen der Bildverarbeitungsoperationen entweder Festkomma- oder Gleitkomma-Funktionen implementieren.
Morphologische Operationen gehören der Gruppe nichtlinearer Filter an und kommen häufig in Bildverarbeitungsalgorithmen vor. Bei diesen Operationen dient ein Strukturierungselement zur Bilduntersuchung. Anhand des Ergebnisses wird festgestellt, inwieweit die elementare Struktur in das Bild passt. Mithilfe von morpho-logischen Operationen können Kanten dicker oder dünner dargestellt, kleine Objekte aus einem großen Objekt
entfernt, Kantenbrüche geschlossen sowie kleine Löcher und Risse beseitigt werden.
Morphologische Operationen sind hauptsächlich binäre Operationen, die sich durch Festkomma-Arithmetik effektiver implementieren lassen.
Bei der Merkmalsextraktion werden Eigenschaften separiert und abhängig von der Anwendung, von den Rauschstufen und von den Bildtypen klassifiziert. Zu den häufigsten Merkmals-extraktionsverfahren gehören Kantendetektion, Linienverfolgung und eine Formanalyse der Objekte. Vor der Klassifizierung der Merkmale wird das Bild mitunter in verschiedene Domänen transformiert, z.B. Fourier und Wavelet. Diese Transformationen werden normalerweise durchgeführt, um die Datensatzgröße zu reduzieren. Da dieser Vorgang gewöhnlich hohe dynamische Ausgangsbereiche zur Folge hat, ist hier die Gleitkomma-Arithmetik von Vorteil.
Für die Merkmalserkennung gibt es zwei Möglichkeiten: Klassifikationsalgorithmen und Vorlagen von Merk-malen. Für das Verfahren mit Klassifikationsalgorithmen werden die Merkmale in verschiedene Kategorien gruppiert. Die Kategorisierung erfolgt normalerweise mittels Lernen aus vorhergehenden Fehlern. Nachdem die Merkmale eines neuen Bildes extrahiert wurden, werden die neuen Merkmale den zuvor bestimmten Gruppen zugeordnet. Dadurch kann der Prozessor Fehler automatisch identifizieren und erkennen. Die zweite Erkennungsmethode erfolgt anhand von Vorlagen (Template-Matching). Für diese Methode werden Vorlagen von Merkmalen anhand verschiedener Fehlertypen zusammengefasst und in einer Datenbank gespeichert. Die neuen Merk-male werden dann mit diesen Vorlagen verglichen und mögliche Fehler daraus abgeleitet.
Industrielle Inspektionssysteme können auch räumliche Daten erfassen. Während Ultraschallsysteme und CT-basierte Röntgensysteme vollständige 3D-Volumendaten erfassen können, verwenden optische Systeme Tiefenkameras für Tiefenprofile oder Stereokameras zur Erzeugung von Oberflächenprofilen. Die zuvor erwähnten Signalverarbeitungsalgorithmen sind so allgemein gehalten, dass 3D-Daten zwar bearbeitet werden können, aber erhöhte Rechenanforderungen in Kauf genommen werden müssen.