Realitätsnahe HF- und Systemtests
Anritsu: »Mangelhafte Tests führen zu mangelhaften Produkten«
Verbindungsabbrüche, schwache Funkleistung, hohe Ausfallraten – warum funktionieren viele Funk- und IoT-Geräte im Labor, versagen aber im Einsatz? Im Interview erläutern Enrico Brinciotti und Martin Varga von Anritsu, woran das liegt und welche typischen Fehler bei HF- und EMV-Tests auftreten.
Elektronik: Sie vertreten die Ansicht: Mangelhafte Tests führen zu mangelhaften Produkten. Was genau meinen Sie damit?
Enrico Brinciotti: Damit meinen wir, dass eine unzureichende Validierung unweigerlich zu einer schlechten Benutzererfahrung und einer verminderten Produktqualität in der Praxis führt. Zu beweisen, dass etwas funktioniert, ist relativ einfach. Der schwierige Teil besteht darin, zu verstehen, wie gut es unter realen Bedingungen funktioniert. Oft besteht eine Diskrepanz zwischen der Funktionsweise oder der scheinbaren Funktionsweise von Produkten während der Entwicklung in kontrollierten Laborumgebungen und ihrer tatsächlichen Leistungsfähigkeit in der realen Welt. Häufig versagt das Produkt nicht vollständig, aber es kann hinter den Erwartungen zurückbleiben oder im Vergleich zu Wettbewerbern schlechter abschneiden – was wirtschaftlich genauso schädlich sein kann. Wenn die Tests unvollständig oder oberflächlich sind, bleiben Probleme verborgen, bis das Produkt eingesetzt wird. Das heißt, der echte Stresstest findet erst statt, wenn das Produkt bereits in der Praxis im Einsatz ist. Dann treten Probleme wie Verbindungsabbrüche, schwankende Leistung oder Beschwerden von Nutzern auf.
Aber warum versagen so viele Produkte in der Praxis, obwohl sie im Labor gut funktionieren?
Martin Varga: Viele Teams validieren die Funktionalität nur auf einer sehr einfachen Ebene. Das kann beispielsweise bedeuten, ein Gerät mit einem nahegelegenen Zugangspunkt zu verbinden, zu bestätigen, dass es funktioniert, und das entsprechende Kästchen anzukreuzen. In der realen Welt sind Anwendungen aber weitaus komplexer, und jedes Anwendungsszenario ist einzigartig. Die Signalstärke schwankt, oder Störungen beeinträchtigen den Betrieb. Ein Produkt funktioniert vielleicht auf einem Schreibtisch neben einem PC einwandfrei, aber wenn man dasselbe Produkt nur wenige Meter entfernt aufstellt, kann es auf völlig unerwartete Weise versagen.
Das zugrunde liegende Problem ist, dass Teams allzu oft nur testen, ob ein Gerät funktioniert, nicht aber, wie gut es funktioniert. Wenn man nicht beides berücksichtigt, hat man im Grunde keine Ahnung, wie sich das Produkt in der Praxis verhalten wird. Das bedeutet potenziell auch verpasste Chancen, die Robustheit des Produkts durch Tests und die Analyse seiner tatsächlichen Grenzen im realen Betrieb zu verbessern. Das Ergebnis sind Situationen, in denen Probleme erst auftreten, wenn Kunden das Produkt in unvorhersehbaren realen Szenarien nutzen.
Warum unterschätzen Unternehmen Ihrer Meinung nach oft die Kosten, die durch unzureichende Tests später entstehen?
Martin Varga:Die Kosten unzureichender Tests sind oft indirekter Natur und treten möglicherweise erst zu einem späteren Zeitpunkt im Prozess oder als Folgewirkungen zutage. Zu diesem Zeitpunkt ist es bereits zu spät, das Geschehene rückgängig zu machen. Das offensichtlichste Beispiel ist das Scheitern der Zertifizierung, was bedeutet, dass die Kosten für den Prozess erneut anfallen und die Produkteinführung verzögert wird. Doch ein einziges Versäumnis kann eine ganze Kette von Kosten nach sich ziehen. Möglicherweise sind Neukonstruktionen erforderlich, verbunden mit zusätzlichem Entwicklungsaufwand, was letztlich dazu führt, dass Marktchancen verpasst werden. All dies verursacht eigene Kosten, die jedoch vermeidbar sind.
Enrico Brinciotti: Hinzu kommt eine starke Wettbewerbsdimension: Selbst wenn ein Produkt funktioniert, kann eine im Vergleich zur Konkurrenz schlechtere Leistung zu Umsatzverlusten und einem geringeren Marktanteil führen. Am wichtigsten sind vielleicht die Opportunitätskosten, bei denen Verzögerungen den vollständigen Verlust der Marktposition bedeuten können. Diese Kosten sind oft nicht quantifizierbar, sodass Unternehmen sich stattdessen eher auf die sichtbaren Kosten für Testgeräte konzentrieren, dabei jedoch die weitaus größeren nachgelagerten Risiken unterschätzen. Oft sind viele der größten Kosten »versteckte Verluste«. Diese können sich in Form von Verzögerungen, entgangenen Geschäften oder verpassten Marktchancen äußern. Obwohl sie schwer zu messen sind, können sie erhebliche Auswirkungen haben und sogar dauerhaften Schaden anrichten.
Enrico Brinciotti, Anritsu: »Eines der häufigsten Missverständnisse ist, dass die Verwendung eines zertifizierten Moduls weitere Tests überflüssig macht. Ein Modul ist jedoch nur ein Teil des Ganzen. Die Integration bringt zusätzliche Komplexitäten und Unsicherheiten mit sich.«
Wo sehen Sie die größten Qualitätsprobleme, wenn Tests zu spät oder nur oberflächlich durchgeführt werden?
Enrico Brinciotti: Die größten Probleme treten typischerweise in Bereichen wie der HF-Leistung und der Systemintegration auf. Beispielsweise können Interferenzen zwischen Komponenten wie Bluetooth und WLAN oder eine schlechte Antennenleistung die Gesamtleistung des Produkts beeinträchtigen. Einer der wichtigsten Tests zur HF-Leistung ist die Prüfung der Empfängerempfindlichkeit. Dieser Test wird üblicherweise an Mobilfunk-, WLAN- und Bluetooth-Geräten durchgeführt und bewertet, wie sich eine zunehmende Entfernung von einer Basisstation, einem WLAN-Zugangspunkt oder einem gekoppelten Bluetooth-Gerät auf die Kommunikationsqualität auswirkt, und ermittelt den Punkt, an dem die Kommunikation nicht mehr akzeptabel ist. Im Vergleich zu einer einfachen Verbindungsprüfung liefert die Prüfung der Empfängerempfindlichkeit eine klare und quantifizierbare Leistungsmessung der Kommunikationszuverlässigkeit und -reichweite. Diese Probleme sind bei grundlegenden Funktionstests oft nicht erkennbar, treten jedoch zutage, wenn die Leistung an die Grenzen der realen Welt gebracht wird. Werden die Tests zu spät durchgeführt, werden sie erst entdeckt, wenn das Design bereits weitgehend fertiggestellt ist, was wiederum die nachträgliche Behebung dieser Probleme erheblich verteuert.
Martin Varga: In vielerlei Hinsicht ist es so, als würde man einen Wolkenkratzer bauen und sich dann am Ende entscheiden, das Fundament noch einmal zu überarbeiten – es ist zwar nicht unmöglich, das Problem zu beheben, aber es ist extrem kostspielig und mit erheblichen Störungen verbunden. In manchen Fällen müssen möglicherweise Form oder Leistung geopfert werden, um Neugestaltungen zu ermöglichen, was alles andere als ideal ist.
Auf welche Missverständnisse stoßen Sie am häufigsten, wenn Teams ihre Funk- oder EMV-Tests bewerten?
Enrico Brinciotti: Eines der häufigsten Missverständnisse ist, dass die Verwendung eines zertifizierten Moduls weitere Tests überflüssig macht. Teams gehen davon aus, dass das Endprodukt ebenfalls einwandfrei funktioniert, weil das Modul die Zertifizierung bestanden hat. Ein Modul ist jedoch nur ein Teil des Ganzen. Die Integration bringt zusätzliche Komplexitäten und Unsicherheiten mit sich, und die Extrapolation potenziell fehlgeleiteter Annahmen in Bezug auf zertifizierte Module kann die Transparenz und Kontrolle über die Leistung auf Systemebene beeinträchtigen. Ein weiteres Missverständnis ist die Gleichsetzung von »es funktioniert« mit »es funktioniert gut«. Es liegt ein klarer Unterschied zwischen der Messung von Leistung und Details und der bloßen Überprüfung der Funktionalität.
Martin Varga: Zudem gibt es auch eine allgemeine Wissenslücke, vor allem bei neueren Akteuren im IoT-Bereich. Teams sind sich manchmal nicht vollständig bewusst, dass sie ein Problem haben könnten, bis es sich in der Praxis manifestiert. Niemand wirft den Teams vor, absichtlich Abstriche zu machen, aber diese Missverständnisse bedeuten, dass sie einfach nicht wissen, was sie testen sollten oder warum es wichtig ist.
Was macht eine gute Teststrategie für stabile WLAN-Leistung und lange Akkulaufzeit wirklich aus?
Martin Varga: Letztendlich verfolgt man zwei Ziele: die Risikominimierung und die Leistungsoptimierung. Eine gute Teststrategie geht über die einfache Validierung hinaus und konzentriert sich auf ein tiefgreifendes Verständnis der Leistung. Um dies zu erreichen, müssen so viele Szenarien wie möglich getestet werden, darunter realistische Bedingungen, Extrembedingungen und hypothetische Randfälle. Das Testen nur unter idealen Bedingungen im Labor vermittelt ein unvollständiges Bild der tatsächlichen Leistung. Neben dem Verständnis der Grenzen des Produkts ermöglicht dies auch ein besseres Verständnis dafür, warum sich Komponenten und Systeme so verhalten, wie sie es tun. Durch die Quantifizierung der Leistung lässt sich beispielsweise genau nachvollziehen, wann und warum eine Verbindung an Qualität verliert oder ausfällt. Dazu gehört auch die Messung des Verhaltens des Geräts in verschiedenen Umgebungen, wie etwa Leistungsabfall bei zunehmender Entfernung oder bei Störungen. Das ist wertvolle Arbeit und kann in die zukünftige Produktentwicklung einfließen.
Was den Stromverbrauch betrifft, ist es unerlässlich, den Verbrauch in verschiedenen Betriebszuständen zu messen, wie zum Beispiel im Leerlauf, bei aktiver Übertragung oder bei schlechten Signalbedingungen. Der Stromverbrauch kann je nach Netzwerkbedingungen erheblich variieren – beispielsweise verbrauchen Geräte deutlich mehr Energie, wenn sie weit entfernt von einer Basisstation oder unter schwachen Signalbedingungen betrieben werden. Ohne kontrollierte Tests sind diese Schwankungen nur schwer zu erkennen und zu optimieren. Durch den Einsatz kontrollierter Umgebungen wie Netzwerksimulatoren können Ingenieure die Szenarien präzise nachstellen und Designentscheidungen auf der Grundlage eines tiefen Verständnisses ihrer Auswirkungen treffen.
Wie tragen automatisierte und standardisierte Tests dazu bei, Fehler früher und zuverlässiger aufzudecken?
Enrico Brinciotti: Automatisierung und Standardisierung sorgen für Konsistenz und Wiederholbarkeit im Testprozess. Sie ermöglichen es Teams zudem, Probleme früher im Entwicklungszyklus zu identifizieren, solange diese noch einfacher und kostengünstiger zu beheben sind. Mittels standardisierter Tests lassen sich verschiedene Designs oder Komponenten objektiv vergleichen. Das ist besonders wichtig bei der Auswahl zwischen verschiedenen Modulen oder Lieferanten, wo Leistungsunterschiede ohne strukturierte Tests vielleicht nicht erkennbar sind.
Martin Varga, Anritsu: »Das Problem ist, dass Teams allzu oft nur testen, ob ein Gerät funktioniert, nicht aber, wie gut es funktioniert. Wenn man nicht beides berücksichtigt, hat man im Grunde keine Ahnung, wie sich das Produkt in der Praxis verhalten wird.«
Wie kann moderne Messtechnik Entwicklungszyklen beschleunigen?
Enrico Brinciotti: Wir haben festgestellt, dass das Testen unter realen Bedingungen wichtig ist, aber Feldtests können zeitaufwändig und teuer sein. Wie erreichen wir dies also im Labor? Moderne Messtechnik ermöglicht es Ingenieuren, eine Vielzahl realer Bedingungen zu simulieren. Teams können Szenarien wie schwache Signale, starke Störungen oder wechselnde Netzwerkbedingungen in einer kontrollierten Umgebung nachstellen. Das ist wichtig, weil reale Netzwerke nicht alle Bedingungen zuverlässig reproduzieren können – was es wiederum schwierig macht, Randfälle konsistent zu testen. Kontrollierte Umgebungen ermöglichen wiederholbare, präzise Tests über Szenarien hinweg, die andernfalls nicht praktikabel wären. Das beschleunigt nicht nur die Entwicklung, sondern liefert auch tiefere Einblicke in die Produktleistung. Ingenieure können Ursachen schnell identifizieren, schneller iterieren und ein höheres Maß an Produktqualität sicherstellen.
Wann sollte ein Team damit beginnen, Zertifizierungstests in Betracht zu ziehen?
Martin Varga: Am besten sollten Zertifizierungsanforderungen bereits zu Beginn des Entwicklungsprozesses berücksichtigt werden. Bis zum Ende zu warten ist riskant, denn ein Scheitern der Zertifizierung in dieser Phase bedeutet, dass das Produkt neu entworfen werden muss, was sowohl kostspielig als auch zeitaufwendig ist. Frühzeitige Tests, die auf die Zertifizierungsstandards abgestimmt sind, stellen sicher, dass potenzielle Probleme lange vor dem offiziellen Zertifizierungsprozess erkannt und behoben werden, was den letzten Schritt erheblich vereinfacht. Außerdem schafft dies die Gewissheit, dass das Produkt nicht nur die Mindestanforderungen erfüllt, sondern auch unter realen Bedingungen zuverlässig und effektiv funktioniert. Diese Gewissheit verleiht dem Produkt und/oder der Marke einen echten Mehrwert.
Wenn Sie Entwicklern nur einen Rat geben könnten: Was verhindert am zuverlässigsten, dass mangelhafte Tests zu einem schlechten Produkt führen?
Martin Varga: Der wichtigste Ratschlag lautet: Testen Sie frühzeitig und realistisch. Verlassen Sie sich nicht auf einfache Funktionsprüfungen und gehen Sie nicht davon aus, dass Laborbedingungen die reale Welt widerspiegeln. Betrachten Sie das Testen stattdessen als Mittel, um die Leistung zu verstehen und zu kontrollieren, statt es lediglich zur Validierung der Funktionalität zu nutzen. Das ist im Grunde die Mindestanforderung, und Kunden erwarten natürlich mehr als das. Konzentrieren Sie sich darauf, wie sich Ihr Produkt in einer Vielzahl von Szenarien und Bedingungen verhält. Auch wenn Probleme nicht sofort sichtbar sind, können sie dennoch vorhanden sein. Nur durch umfassendes Testen lassen sie sich aufdecken, bevor die Kunden sie entdecken.
Enrico Brinciotti: Ordnungsgemäßes Testen ist nicht nur eine technische Anforderung; es ist ein Mittel, um Risiken zu minimieren, Ihre Marke zu schützen und langfristigen Erfolg zu sichern. In vielen Fällen handelt es sich um eine relativ geringe Investition, die verhindert, dass später viel größere Probleme auftreten.