Hochleistungskommunikation über problematische Medien 10-Gbit/s-Ethernet: Die zweite Generation

Seit zwei Jahren ist das 10-Gbit/s-Ethernet spezifiziert, und nun kommen die ersten Chips und Systeme auf den Markt, in deren Entwicklung bereits die Erfahrungen aus der ersten Generation eingeflossen sind. Dabei kristallisiert sich heraus, dass das anfangs für zu ambitioniert gehaltene Projekt „10-Gigabit über Kupfer“ in den Daten-Centern an Schubkraft gewinnt.

Hochleistungskommunikation über problematische Medien

Seit zwei Jahren ist das 10-Gbit/s-Ethernet spezifiziert, und nun kommen die ersten Chips und Systeme auf den Markt, in deren Entwicklung bereits die Erfahrungen aus der ersten Generation eingeflossen sind. Dabei kristallisiert sich heraus, dass das anfangs für zu ambitioniert gehaltene Projekt „10-Gigabit über Kupfer“ in den Daten-Centern an Schubkraft gewinnt.

Die IEEE-Kommissionen [1], in denen der 10-Gbit/s-Ethernet- Standard spezifiziert wurde, haben die Entwicklungsingenieure vor hohe Herausforderungen gestellt. Zwar war zum Zeitpunkt der Diskussion über die Eigenschaften des künftigen Standards die Datenübertragung mit 10 Gbit/s bereits in den Weitverkehrsnetzen etabliert, aber die Frage war, welche Anwendungsfelder der neue Standard unmittelbar erobern könnte. Natürlich dort, wo Ethernet ohnehin etabliert war – in den Unternehmensnetzwerken und Server- Farmen – und wo Aussicht auf einen schnellen Erfolg bestand. Das Konzept des „Media Independent Interface“ ermöglichte dabei auch hier die Spezifikation physikalischer Schnittstellen (PHYs), die auf den speziellen Anwendungsfall optimiert werden konnten. Die Anforderungen jedoch waren hoch, nicht nur bei den „Kupfer- Standards“, sondern auch für die optischen Übertragungsverfahren. So wurde etwa mit der optischen Variante 10GBase-LRM (Long Range Multi-mode) der Versuch gemacht, die in den Server- Farmen weithin verwendeten Mehrmoden-Lichtwellenleiter auch für die 10-Gbit/s-Übertragung nutzbar zu machen.

Schon bald nach Inbetriebnahme der ersten 10-Gbit/s-Schnittstellen an den Hochleistungsservern wurde deutlich, dass die Prozessoren vornehmlich mit der Protokoll-Behandlung beschäftigt waren. Die Behandlung einer TCPVerbindung etwa erfordert, dass der Prozessor den Header durchforstet, die Prüfsumme berechnet, die Sequenzund Quittierungs-Nummerierung abarbeitet, die TCP-Flags auswertet und die Port-Adressen von Sender und Empfänger ausliest. Darüber hinaus werden die Quittierungsblöcke für die empfangenen Daten generiert und übermittelt, die Sendedaten segmentiert, die Daten auf die verschiedenen Speicherplätze kopiert, etwa für das Empfangsfenster und das Sendefenster. Schließlich müssen noch die Timer für erneute TCP-Übertragungsanforderungen gesetzt und überwacht werden.

Software reduziert die Arbeitslasten

Microsoft [2] hat in seinem Scalable Network Pack mehrere Verfahren entwickelt, mit denen die „Workload“ erheblich reduziert wird. Die Idee besteht darin, diese Aufgaben weitgehend auf die Network Interface Cards (NIC) abzuwälzen:

  • TCP Chimney Offload: Gibt automatisch alle Aufgaben an die NIC ab, sofern diese mit einer TCP Offload Engine (TOE) ausgestattet ist.
  • Receive Side Scaling: Implementiert einen Mechanismus, bei dem der Netzwerk- Prozessor auf der NIC in einer Multi-Core-Umgebung dafür sorgen kann, dass eine TCPVerbindung stets von demselben Prozessor bearbeitet wird.
  • NetDMA: Reduziert den Aufwand des Prozessors bei DMA-Transfers (Direct Memory Access) in einer Net- DMA-Umgebung.

Das amerikanische Startup- Unternehmen Netxen [3] hat einen Netzwerk-Prozessor entwickelt, dessen Leistungsumfang auf die Anforderungen des Service Packs von Microsoft abstimmt sind. Auf dem NX 2031 (Bild 1) genannten Chip sind mehrere spezialisierte Prozessoren integriert, die sich für die zu erwartenden Modifikationen etwa bei den „TCP Chimney Offload“-Mechanismen umprogrammieren lassen. Die interne Struktur des Chips – vom Hersteller „NetSlice Architecture“ getauft – ist darauf ausgelegt, das Konzept der „Server Virtualization“ zu unterstützen. In einer Mehrprozessor-Umgebung erledigt also nicht ein bestimmter Prozessor die Aufgaben, sondern sie werden im Kontext von Server-Cores, Spezial-Prozessoren auf dem Netzwerk- Prozessor-Chip und I/O-Ports zugewiesen und abgearbeitet.

Der Chip bietet auf der Ethernet- Seite zwei 10GbE- und zwei 1GbEPorts, die Anbindung an das Host-System erfolgt per PCI-Express-Schnittstelle. Für die Kommunikation zwischen den Elementen auf dem Chip wird ein Kreuzschienen-Verteiler genutzt. Der Chip kann alle von den Ethernet-Ports kommenden Daten und Botschaften verarbeiten. Auf der Basis des Chips wurde eine 10-Gbit/s-NIC entwickelt, in die sich ein Standard- XFP-Modul (10 Gigabit Small Form Factor Pluggable) für die Übertragung über Lichtwellenleiter einsetzen lässt.

Das für den Einsatz des 10-Gbit/s- Ethernet für Server-Farmen mit Übertragungslängen bis 220 m definierte Verfahren 802.3aq bzw. 10GBase- LRM (Long Reach Multi-mode) ist für eine FDDI-Konfiguration (Fiber Distributed Date Interface) mit 1310-nm- Laser-Dioden gedacht; die Mitglieder des Komitees dachten dabei an den Einsatz in einer bestehenden Infrastruktur mit 62,5-μm-Mehrmoden- Lichtwellenleitern. Um trotz der vergleichsweise ungünstigen Eigenschaften dieser Lichtwellenleiter auf eine vernünftige Übertragungslänge zu kommen, muss die Dispersion der Lichtwelle auf der Übertragungsstrecke elektronisch kompensiert werden (EDC – Electronic Dispersion Compensation). Gleichwohl sind die Anforderungen an die Stabilität der Laser-Dioden hoch, daher wurden hier häufig die hochwertigen „Distributed Feedback“-Laser-Dioden (DFL) eingesetzt. Finisar [10] zeigte kürzlich auf der ECOC 2007 in Berlin [11] neue Sender und Empfänger für das LRMVerfahren, die auf der Basis von Fabry-Perot-Resonatoren arbeiten (Bild 5). Solche Laser-Dioden sind kostengünstiger herzustellen, zudem weisen sie einen besseren Wirkungsgrad auf als die DF-Laser-Dioden, ihre spektrale Reinheit ist jedoch prinzipbedingt schlechter. Mit den neuen Laser- Dioden lassen sich jedoch die Vorgaben des LRM-Standards erfüllen; wieder lautet das Zauberwort EDC. Als Empfänger-Baustein kommt eine PINDiode zum Einsatz, die in einem Schaltkreis für die automatische Verstärkungsregelung betrieben wird. Zusätzlich abgeleitete Signale ermöglichen die Verbesserung der Übertragungsqualität für die einzelnen Verbindungen und die Erkennung von Störungen.

Avago Technologies [12] bietet unter der Bezeichnung HFBR-707X- 2DEM (Bild 6) ein Transceiver-Modul – ebenfalls mit einer Fabry-Perot- Laser-Diode mit elektronischer Kompensation der Dispersion (EDC) ausgestattet –, das die LRM-Spezifikationen des 10GbE-Standards erfüllt. In dem Modul sind Laser und Elektronik in einem Gehäuse integriert, das nach den Spezifikationen X2, XENPAK und XFP ausgeführt werden kann. Mit dem Modul werden über Lichtwellenleiter-Kabel des Typs OM1 (62,5 μm), OM2 (50 μm) und OM3 (50/125 μm) Übertragungslängen von mindestens 220 m erreicht. Schnittstellen für „Digital Optical Monitoring“ (DOM) und MDIO-Management erleichtern die Integration der Module in die Systeme. MDIO ist eine unter IEEE 802.3ae definierte einfache Zweidraht-Schnittstelle für die Verbindung zwischen einer Steuerung – etwa einem Mikroprozessor – und einem 10GbE-Transceiver. Darüber lassen sich Steuerbefehle und Status-Informationen übertragen. Alle Module sind „hot plug“-fähig, lassen sich also im Betrieb aus der Fassung ziehen, ohne dass eine Beschädigung befürchtet werden muss.