Startseite > Embedded > Entwicklungstools > Mit dem richtigen Tool zum Erfolg

Zertifizieren von Systemen

Mit dem richtigen Tool zum Erfolg

7. April 2021, 8:00 Uhr | Von Michael Wittner

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Ergebnisse automatisch auswerten

Nach Ausführen der Tests ist der nächste Schritt das Auswerten der Testergebnisse je Anforderung. Basis für das Auswerten ist die in der Planungsphase vorgenommene Verknüpfung von Definitionen mit Anforderungen. Jedoch kann es nötig sein, weitere Anforderungen und deren Auswertungsergebnisse aus einem Test zu verknüpfen.

Dieser Auswertprozess ist jedoch fast vollständig automatisierbar – denn CCDL erlaubt ein direktes Verknüpfen der Auswertung der erwarteten Systemreaktionen mit den Requirements. Eine manuelle Korrektur der automatisch erzeugten Ergebnisse ist hierbei weiterhin möglich. So ist es möglich, eine menschliche Expertise beim Auswerten in den Testprozess miteinzubeziehen.

Jedes Testergebnis ist vom Anwender explizit als »closed« zu bestätigen, damit es in der aktuellen Statistik verwendet wird. Das erlaubt ein fortlaufendes Berichtswesen. Unfertige Testergebnisse bleiben so außen vor.

Testberichte erstellen

Am Schluss eines Zertifizierungsprozesses steht der finale Testbericht über die erreichten Ergebnisse sowie dem Nachweis zwischen den Anforderungen und den zugehörigen Ergebnissen. In der Regel wird der gesamte Testprozess iterativ über mehrere Kampagnen durchgeführt. Somit ist es essenziell, dass der Testbericht einen schnellen Überblick und gleichzeitig detaillierte Einblicke in aufgedeckte Fehler bietet. Der Bericht zeigt für jede Anforderung die geplante Testabdeckung aus der VxV-Matrix sowie die tatsächlich erreichte Testabdeckung aus den durchgeführten Tests. Die Anzahl der Tests ergibt sich aus der Anzahl der Testdefinitionen und deren Ausführung (Test Runs). Für alle Berichte kann der Nutzer Filter anwenden, um die Ergebnisse für bestimmte Testkampagnen oder lediglich für Teile des gesamten Programms zu zeigen. Mit dem Testmanagement-Tool ITE können Anwender anpassbare Berichte zwischen Requirements und Tests erstellen. Sie sind direkt als Zertifizierungsdokumente oder für Audits verwendbar.

Jobangebote+ passend zum Thema

MACNICA ATD EUROPE - Ihre berufliche Zukunft

MACNICA ATD Europe GmbH, Ingolstadt

Alle Jobangebote im Elektroniknet Karrierebereich anzeigen

Prozesse einfach verknüpfen

Bei komplexen Systemen ist der Test in der Regel nicht mit einmaligem Ausführen erledigt. Aus dem Grund sollte der Testprozess effektive Änderungen und Wiederholungen ermöglichen. Erfolgen Änderungen bei den Anforderungen kann das zum Anpassen oder Aktualisieren von Tests führen, neue Tests erforderlich oder bestehende Tests obsolet machen. Verknüpfungen zwischen den Artefakten des Testprozesses ermöglichen es, verdächtige Elemente eindeutig zu identifizieren.
Bild 4 zeigt die Verknüpfungen zwischen den Testprozess-Artefakten. Ihnen kann der Testingenieur folgen, um zu beobachten, wie sich Änderungen an Elementen auswirken. Jedes abhängig verknüpfte Element ist als verdächtig zu markieren. So kann es der Nutzer aktualisieren oder eine Änderung einfach bestätigen. Ein Markieren der verdächtigen Elemente gewährleistet, dass der Anwender innerhalb eines dynamischen Testprozesses schnell und ohne großen Aufwand zu den nötigen Überarbeitungen seiner Tests geführt wird. Wurden alle verdächtigen Elemente bearbeitet, kann der Testingenieur sicher sein, alle nötigen Änderungen oder Aktualisierungen der Tests ausgeführt zu haben.

Für große Testprojekte geeignet

Der skizzierte Testprozess wurde bereits in verschiedenen Programmen für das Zertifizieren sicherheitskritischer Flugzeugkomponenten erfolgreich eingesetzt. Eines der Projekte erstreckte sich über einen Zeitraum von über drei Jahren und beschäftigte teilweise bis zu 25 Testingenieure. Insgesamt galt es 1.270 Anforderungen und zusätzlich über 3.000 daraus abgeleitete Unteranforderungen zu prüfen. Hieraus ergab sich wiederum eine Anzahl von 3.014 Testfällen und 4.118 Testläufen, davon 1.196 wiederholte Ausführungen.
Hierbei war es absolut notwendig, die am besten geeigneten Tests sowie das am besten passende Tool für jede Kampagne auszuwählen. Das Ausführen der Tests konnte lediglich auf einem sehr kostspieligen Hardware-Testrig mit allen beteiligten Originalteilen auf ihren entsprechenden Einbaupositionen erfolgen. Oder auf einem Simulator, der lediglich mit dem SUT als Originalteil verbunden war.
Die hohe Anzahl Testzyklen und Wiederholungen bei dem Projekt zeigt: Ein umfangreiches Versions- und Änderungsmanagement ist nötig, um alle verdächtigen Pfade der Verknüpfungskette der Testartefakte zielgerichtet zu bearbeiten. Mithilfe geeigneter Tools ist der Aufwand für das Zertifizieren der funktionalen Sicherheit beherrschbar – und die Testingenieure haben den Prozess zu jedem Zeitpunkt unter Kontrolle.

Der Autor

Michael Wittner ist Geschäftsführer von Razorcat Development. Er hat einen Abschluss als Diplom-Informatiker der TU Berlin und ist seit vielen Jahren im Bereich Softwareentwicklung und -test tätig. So arbeitete er bereits nach dem Studium als wissenschaftlicher Mitarbeiter bei Daimler an der Entwicklung von Testmethoden und -werkzeugen. Seit 1997 ist Wittner bei Razorcat, dem Hersteller der Testtools »TESSY« und »CTE« sowie des Testmanagement-Tools »ITE« und der Testspezifikationssprache »CCDL«.
E-Mail: mw@razorcat.com