Außerhalb des Protokolls Datenverkehr im European XFEL

Bild 4: Eine im MicroTCA-Standard entwickelte Karte wird vermessen (Struck SIS8300L, ein 10-Kanal 16-bit-Digitizer).
Eine im MicroTCA-Standard entwickelte Karte wird vermessen (Struck SIS8300L, ein 10-Kanal 16-bit-Digitizer).

Der MicroTCA-Standard findet neben populären ethernet-getriebenen Automatisierungslösungen noch wenig Beachtung. Allerdings bietet er mit der räumlich getrennten Signalverarbeitung von Analog- und Digitalkomponenten, eine besonders ausfallsichere, langzeitverfügbare und skalierbare Technologiebasis.

Im Sommerinterview mit DESYs »Head of MicroTCA Technology Lab« Dr. Thomas Walter, beleuchtet DESIGN&ELEKTRONIK den Anwendungsfall Röntgenlaser, bei dem ein 3,4 km langer Elektronenstrahl femtosekundengenau reguliert wird.

DESIGN&ELEKTRONIK: Herr Dr. Walter, in der Automatisierung ist die möglichst latenzfreie Steuerung komplexer verteilter Systeme über Netzwerksysteme ein Thema. Inwiefern wird diese Fragestellung in Beschleunigerexperimenten wie dem European XFEL aufgegriffen und beantwortet?

Dr. Thomas Walter: Mit dem European XFEL stoßen wir in verschiedener Hinsicht in neue Dimensionen vor. Zur Erzeugung ultrakurzer Laserpulse im Femtosekunden-Bereich (1 fs = 10-15 Sekunden) aus Elektronen, sind 1,2 Mrd. EUR in die Anlage (Bild 1) investiert worden; dieses Licht ermöglicht extrem hohe Auflösungen weit jenseits der konventionellen Mikroskopie.

Bahnbrechende Grundlagenforschung vor allem in den Naturwissenschaften, in der Medizin und in der Materialforschung rückt damit in greifbare Nähe, daher fiebern die Strahlnutzer der offiziellen Eröffnung der Anlage am 1. September diesen Jahres entgegen. DESY hat als Hauptgesellschafter des European XFEL umfangreiche Verantwortung für das Design und den Betrieb einer Reihe von Systemen übernommen. Die Herausforderung für die hauseigene Elektronikentwicklung in Bezug auf latenzfreie Steuerung besteht vor allem in der hochgenauen Synchronisation der erzeugten Elektronenpakete mit einer HF-Frequenz von 1,3 GHz in den Beschleunigerstrukturen.

Um die Latenz möglichst gering zu halten verwenden wir hauseigene, sehr schlanke Protokolle mit direkten Hardwareverbindungen zwischen den FPGAs –  die Verarbeitungsgeschwindigkeit der Sensordaten hat Priorität gegenüber der Korrektur möglicher Übertragungsfehler; die Anforderungen an die Designs in Bezug auf Signalintegrität sind daher besonders hoch.

Können Sie die Größenordnung der Anlage und der Steuerungsaufgabe in technischen Parametern spezifizieren?

Der European XFEL ist eine 3,4 km lange unterirdische Beschleunigeranlage, die auf dem DESY Campus in Hamburg-Bahrenfeld beginnt und in Schenefeld (Schleswig-Holstein) endet. Es handelt sich um einen supraleitenden Linearbeschleuniger (Bild 2), in dem freie Elektronen erzeugt, auf eine Energie von etwa 17,5 GeV (d.h. nahezu Lichtgeschwindigkeit) beschleunigt und durch ein starkes magnetisches Wechselfeld zur Abgabe von Photonen angeregt werden.

Die Photonen werden in Paketen zu hoch-brilliantem Licht mit einer durchschnittlichen Leuchtstärke von 1,6·1025 Photonen/s/mm2/mrad2/(0,1% Bandbreite) gebündelt und auf verschiedene Experimentierstationen verteilt.

Für die Supraleitung sind aufwändige Kryogeniksysteme notwendig, um die Beschleunigerröhre mittels Helium auf eine Temperatur von 2 Kelvin (-271 Grad Celsius) zu kühlen sowie Ultrahochvakuumsysteme, um diese Temperatur dauerhaft zu halten. Weitere Systeme zum Maschinenschutz und Personensicherheit gewährleisten eine schnelle Abschaltung des Strahls im Fehlerfall und beim Eindringen von Personen in die Anlage, in der Regel von einem Puls zum nächsten.

Welche Automatisierungsaufgabe wird konkret aus der Strahlbündelung abgeleitet?

Entscheidend für die Qualität des Photonenstrahls ist die exakte, d.h. femtosekundengenaue Synchronisation der erzeugten Elektronen mit der HF-Frequenz von 1,3 GHz, die an den Kavitäten der Beschleunigermodule anliegt. Hierzu sind an jedem der 808 Kavitäten des XFEL drei verschiedene Sensoren verbaut:

  1. Forward Power – misst die HF-Leistung, die in das Modul eingebracht wird,
  2. Reflected Power – misst die HF-Leistung, die vom Modul reflektiert wird,
  3. Cavity Probe  – misst die HF-Leistung im Modul selbst,

so dass insgesamt 2.424 Sensoren laufend Messwerte über das Verhalten des HF-Felds in allen Beschleunigerkavitäten liefern.

Jeder der Sensoren wird stetig mit einer Frequenz von 81 MHz abgetastet, d.h. alle 12 ns wird ein 16 Bit breites Sample übertragen. Aufgenommen wird dieser Messdatenstrom von einem System aus 26 Low-Level Radio Frequency (LLRF) Stationen (Bild 3) mit insgesamt 52 Baugruppenträgern, die im Tunnel direkt unter den Beschleunigerröhren installiert sind. Die gesamte Elektronik ist im MicroTCA-Standard ausgeführt.

Jeder der 52 Baugruppenträger (19-Zoll-Crate) enthält sechs ADC-Wandlerkarten (Titelbild) mit je zehn Eingängen für das Sampling; in Summe werden von diesen 60 Kanälen in jedem Crate ca. 100 Gigabit pro Sekunde verarbeitet. Für den gesamten XFEL ergibt sich damit ein Datenstrom von 5,2 Terabit pro Sekunde. Die Messdaten werden vor allem lokal für eine schnelle Korrektur des HF-Felds benötigt wobei Latenzen von weniger als 2 µs in der Regelungsschleife erreicht werden.

Zusätzlich dienen die Messdaten als Input für Algorithmen, die Steuerbefehle für Motortreiber und Piezoaktuatoren liefern, mit denen die Beschleunigermodule mechanisch in minimalem Umfang gestaucht oder gestreckt werden, um die Resonanzfrequenz der Kavitäten präzise abzugleichen.

Die Algorithmen müssen dabei extrem schnell arbeiten, um die Anforderungen an die Strahlqualität zu erfüllen: gefordert ist eine Eliminierung von Schwankungen des HF-Signals im Bereich von weniger als zehn Femtosekunden. Die kann nur erreicht werden, indem Steueralgorithmen direkt im VHDL-Code implementiert werden, der auf den FPGAs der Signalverarbeitungskarten der einzelnen LLRF-Stationen läuft.