Startseite > Automation > Industrie 4.0 & IoT > Datenverkehr im European XFEL

Außerhalb des Protokolls

Datenverkehr im European XFEL

30. August 2017, 19:54 Uhr | Constantin Tomaras

▶ Diesen Artikel anhören

Fortsetzung des Artikels von Teil 1

Netzwerktopologie: Geringe Latenz vs. Redundanz

Welche Netzwerktopologie nutzen Sie zur schnellen Signalverarbeitung und Steuerung?

Unsere Netzwerktopologie ist am ehesten als ein Verbund schneller lokaler Netzwerke zu beschreiben, die für eine schnelle Signalverarbeitung direkt vor Ort und die Hochverfügbarkeit des Gesamtsystems optimiert worden sind, d.h. es gibt keine Umwege über zentrale Netzknoten. Eine einzelne LLRF Station besteht aus einem Master/Slave-System, das zusammen 32 Beschleunigerkavitäten in vier Kryomodule steuert und die Redundanz ausgewählter Funktionen sicherstellt: Stromversorgung, Kühlung und I²C-Bus sind doppelt ausgeführt. (Die PCIe-Verbindungen hätten theoretisch ebenfalls gedoppelt werden können, auf diese Redundanz wurde zu Gunsten einer höheren Anzahl von low latency links verzichtet).

Die Anbindung an das übergeordnete Kontrollsystem (eine DESY-Eigenentwicklung namens DOOCS) erfolgt über Ethernet, übertragen wird aber nur ein stark reduziertes Datenvolumen bestehend aus vorverarbeiteten Sensordaten, Zustandsprotokollen und Steuerbefehlen. Die kontinuierliche Speicherung dieses Datenstroms gelingt in einem Datencenter, das an den Kontrollraum angebunden ist. Dort können im Bedarfsfall Anlagenzustände für jeden einzelnen Elektronenpuls über Monate zurückverfolgt werden.

Der European XFEL ist die modernste Beschleunigeranlage weltweit. Neben den aufwendigen HF-Kontrollen sind noch viele weitere Systeme zum Betrieb der Anlage erforderlich - umfangreiche Strahldiagnose, Vakuumkontrollen, Magnetsteuerungen, Interlocksysteme, Timing- und Triggerverteilung, Kryogenikkontrollen etc. Insgesamt besitzt das Kontrollsystem 10 Mio. Daten- und Konfigurationskanäle die überwacht und parametrisiert werden um den optimalen Beschleunigerbetrieb zu gewährleisten. Ein hierfür eigens entwickeltes Daten-Akquisitionssystem speichert ca. 30 Terabyte Daten täglich zur Offline-Analyse. Nur durch die rasante Entwicklung in der Digitalisierung ist der Betrieb solcher hochkomplexen Anlagen heutzutage möglich.

Matchmaker+ Anbieter zum Thema

zu Matchmaker+

Wie sind die Anforderungen an Betriebszeiten und Ausfallsicherheit im Beschleunigerexperiment? Wie werden diese gerade durch den MicroTCA-Standard erfüllt?

Der Beschleuniger läuft aufgrund der enormen Nachfrage aus der Wissenschaft Rund-um-die-Uhr, eine eigens dafür abgestellte Besatzung aus Technikern und Physikern stellt im Schichtbetrieb die Verfügbarkeit vom Kontrollraum aus sicher. Verantwortliche für die einzelnen Subsysteme des Beschleunigers sind jederzeit in Rufbereitschaft.

Ein Strahlausfall ist immer kritisch, weil er zu Verzögerungen in den wissenschaftlichen Vorhaben führt, welche die betroffene Strahlzeit reserviert haben. Die konkreten Verluste durch diese Verzögerungen sind aber im Bereich der Grundlagenforschung naturgemäß schwer zu beziffern, eine Annäherung über die Kosten verdeutlicht aber die Brisanz: Mit einem Betriebstag am European XFEL entstehen mehr als 320.000 EUR Kosten.

Diesem Mittelabfluss steht bei Strahlausfall kein konkreter Gegenwert im Sinne eines wissenschaftlichen Erkenntnisgewinns mehr gegenüber; der Druck auf alle Verantwortlichen ist daher sehr hoch, die Ursachen von Ausfällen schnell aufzuklären und die Verfügbarkeit ständig zu maximieren.

Der für die Kontrollsysteme ausgewählte Elektronikstandard MicroTCA erlaubt eine verfügbare Betriebszeit (uptime) von bis zu 99,999%, dies kommt den hohen Anforderungen an die Strahlzeitverfügbarkeit am XFEL sehr entgegen. Der Beschleuniger wird nur für wenige Tage im Monat zu Wartungsarbeiten planmäßig heruntergefahren; etwaige Ausfälle in der Elektronik müssen durch Redundanz und Fernwartung bis zu diesen Wartungstagen kompensiert werden, weil nur dann der Tunnel und damit die LLRF-Stationen für Personen zugänglich sind. MicroTCA wurde ursprünglich für Telekommunikationsanwendungen mit ähnlichen Anforderungen entworfen, daher sind Leistungsmerkmale für Redundanz und Fernwartung bereits direkt im Standard implementiert.