Fortschritte beim Routing von Dragonfly-Interconnects

Die Dragonfly-Verbindung ist eine Schlüsseltechnologie, die in Supercomputern verwendet wird. Mit dem Wachstum der Systeme und ihrer Leistungsfähigkeit wird das Teilen von Netzwerkressourcen wie Links und Routern notwendig. Dieses vermehrte Teilen steigert die Nutzung der Links, kann aber die Leistung aufgrund von Wettbewerbsdruck im Netzwerk beeinträchtigen. Intelligente Routing-Methoden, die auf Reinforcement Learning basieren, zeigen vielversprechende Ansätze zur Verbesserung der Netzwerkgeschwindigkeit und zur Reduzierung von Paketverzögerungen, aber ihre Fähigkeit zur Verringerung von Arbeitslastinterferenzen bleibt ungewiss.

In dieser Arbeit führen wir detaillierte Netzwerk-Simulationen durch, um zu untersuchen, wie mehrere Arbeitslasten unter verschiedenen Routing-Methoden in einem grossangelegten Dragonfly-System konkurrieren. Wir entwickeln ein robustes Simulations-Toolkit und erstellen eine Reihe von Arbeitslasten, die auf einzigartige Weise kommunizieren. Ausserdem führen wir zwei Metriken ein, um zu bewerten, wie viel Kommunikation jede Anwendung nutzt. Unsere Analyse zielt darauf ab, zu verstehen, wie sich unterschiedliche Arbeitslasten gegenseitig beeinflussen, wenn verschiedene Routing-Methoden angewendet werden.

#Hintergrund zum Dragonfly-Netzwerk

Hochleistungsrechner benötigen effiziente Netzwerke, um ihre Grösse zu einem angemessenen Preis zu bewältigen. Die Dragonfly-Topologie hebt sich durch ihre Fähigkeit hervor, viele Knoten effektiv zu verbinden. Dieses Netzwerkdesign verwendet Gruppen von Routern und Links, die vollständig verbunden sind und schnelle Kommunikationswege ermöglichen. Die Struktur von Dragonfly erlaubt es, jeden Punkt im Netzwerk in drei Hüpf zu erreichen, was es schnell und effizient macht. Allerdings kann die gemeinsame Natur dieses Netzwerks dazu führen, dass Anwendungen um dieselben Ressourcen konkurrieren, was Verzögerungen verursacht.

Adaptive Routing-Strategien werden häufig verwendet, um den Verkehr in Dragonfly-Netzwerken zu steuern. Diese Methoden ermöglichen es Routern, Wege basierend auf lokalen Informationen, wie ausgelastet ein Link ist, auszuwählen. Obwohl diese Strategien helfen können, Interferenzen zu reduzieren, können sie dennoch zu erheblichen Verzögerungen für Anwendungen führen, die das Netzwerk teilen.

#Arbeitslastinterferenz in der Informatik

Arbeitslastinterferenz tritt auf, wenn mehrere Anwendungen gleichzeitig dieselben Netzwerkressourcen nutzen möchten, was zu Verzögerungen und Ineffizienzen führt. Dies kann zu längeren Ausführungszeiten und verschwendeten Ressourcen führen, was letztendlich die Produktivität des Systems senkt. Um dieses Problem anzugehen, wurden verschiedene Strategien untersucht. Ein Ansatz besteht darin, Jobs so zu platzieren, dass sie sich nicht gegenseitig stören. Während dies helfen kann, Interferenzen zu reduzieren, kann es auch andere Probleme verursachen, wie zum Beispiel die effektive Nutzung von Ressourcen zu erschweren.

Ein anderer Ansatz ist das anwendungsbewusste Routing, das das Routing basierend auf den aktuellen Bedingungen ändert. Dieser Ansatz erfordert jedoch eine ständige Überwachung und kann Overhead verursachen, was die Leistung beeinträchtigt. Weitere Methoden beinhalten die Einführung neuer Kontrollmechanismen, die mit bestehenden Routing-Methoden zusammenarbeiten, um Staus besser zu verwalten.

#Intelligentes Routing und Simulationssetup

In dieser Studie konzentrieren wir uns darauf, wie intelligentes Routing die Arbeitslastinterferenz verringern kann. Wir betrachten Q-adaptive Routing, eine neuere Methode, die Reinforcement Learning nutzt, um fundiertere Entscheidungen zur Paketweiterleitung zu treffen. Erste Ergebnisse zeigen, dass Q-adaptive Routing in Bezug auf die Leistung besser abschneidet als traditionelles adaptives Routing. Allerdings bleibt die Frage, ob es die Arbeitslastinterferenz effektiv reduzieren kann.

Um dies zu untersuchen, verwenden wir Netzwerk-Simulationen, um eine kontrollierte Umgebung zu schaffen, in der wir die Arbeitslastinterferenz unter verschiedenen Routing-Methoden analysieren können. Wir verbessern bestehende Simulationswerkzeuge, um dieses Problem besser zu untersuchen und verwenden eine Auswahl von Anwendungen aus der realen Welt mit unterschiedlichen Kommunikationsmustern. Anschliessend definieren wir zwei neue Metriken, um die Intensität der Kommunikation für jede Anwendung zu quantifizieren.

#Metriken für Kommunikationsintensität

Um besser zu verstehen, wie Anwendungen miteinander interagieren, führen wir zwei Metriken ein: Nachrichteninjektionsrate und Spitzen-Eingangsvolumen.

• Nachrichteninjektionsrate misst die durchschnittliche Anzahl von Nachrichten, die eine Anwendung über die Zeit sendet. Sie kann uns helfen zu verstehen, wie schnell eine Anwendung Netzwerkressourcen benötigt.

• Spitzen-Eingangsvolumen gibt die maximale Menge an Daten an, die eine Anwendung in einem kurzen Zeitraum senden muss. Diese Metrik hebt die plötzlichen Anforderungen der Anwendung an das Netzwerk hervor.

Durch die Verwendung dieser Metriken können wir Einblicke gewinnen, wie verschiedene Anwendungen sich gegenseitig beeinflussen, wenn sie gleichzeitig arbeiten.

#Paarweise Arbeitslastanalyse

Wir beginnen unsere Analyse, indem wir vergleichen, wie sich verschiedene Anwendungen verhalten, wenn sie zusammen ausgeführt werden. Wir nehmen eine Zielanwendung und führen sie zusammen mit einer Hintergrundanwendung aus, um zu sehen, wie die Kommunikationsleistung beeinflusst wird. Dies hilft uns zu erkennen, wie die Leistung einer Anwendung durch die Präsenz einer anderen beeinflusst wird.

Wir wählen verschiedene Zielanwendungen mit einzigartigen Kommunikationsanforderungen und koppeln sie mit Hintergrundanwendungen. Indem wir die Zuordnung von Prozessen zu Knoten unverändert lassen, können wir direkt vergleichen, wie Interferenzen die Kommunikationszeiten beeinflussen.

#Einfluss der Nachrichteninjektionsrate

Unsere Ergebnisse zeigen, dass Anwendungen mit höheren Nachrichteninjektionsraten einen signifikanten Einfluss auf solche mit niedrigeren Raten haben können. Beispielsweise, wenn wir eine Hintergrundanwendung ausführen, die Nachrichten schnell sendet, führt das zu Verzögerungen bei Anwendungen, die Nachrichten langsamer senden.

Q-adaptive Routing reduziert konsequent die negativen Auswirkungen dieser Interferenzen und führt zu kürzeren Kommunikationszeiten. Zum Beispiel, wenn eine kommunikationsintensive Anwendung neben einer anderen läuft, ermöglicht Q-adaptive Routing der fordernderen Anwendung, besser abzuschneiden als unter anderen Routing-Methoden.

#Einfluss des Spitzen-Eingangsvolumens

Anwendungen, die eine grosse Menge an Netzwerkressourcen benötigen, können Interferenzen besser tolerieren als solche, die dies nicht tun. Wenn eine Anwendung mit hohem Spitzen-Eingangsvolumen das Netzwerk mit anderen teilt, kann sie oft die verfügbare Bandbreite dominieren, wodurch die Auswirkungen auf ihre Leistung verringert werden.

Unsere Tests zeigen beispielsweise, dass eine spezielle Anwendung, die für ihr hohes Spitzen-Eingangsvolumen bekannt ist, weitgehend unbeeinflusst von Interferenzen anderer, weniger anspruchsvoller Anwendungen bleibt. Dies bestätigt, dass Anwendungen mit einem höheren Bedarf an Bandbreite andere überholen und ihre Kommunikationszeiten stabil halten können.

#Einfluss der Tail-Latenz

Tail-Latenz bezieht sich auf die Verzögerungen, die durch Pakete entstehen, die länger benötigen, um durch das Netzwerk zu reisen. Hohe Tail-Latenz kann die Leistung erheblich beeinträchtigen, da kollektive Operationen, wie das Sammeln von Daten von mehreren Punkten, möglicherweise erst abgeschlossen werden, wenn alle Pakete angekommen sind.

In unseren Simulationen sehen wir, dass Q-adaptive Routing die Tail-Latenz effektiv reduziert, selbst wenn Anwendungen um Ressourcen konkurrieren. Diese Reduzierung der Tail-Latenz führt zu einer deutlich kürzeren Gesamtkommunikationszeit für Anwendungen und zeigt, dass Q-adaptive Routing besonders effektiv ist, um anspruchsvolle Kommunikationsszenarien zu verwalten.

#Gemischte Arbeitslastanalyse

Über die paarweise Analyse hinaus betrachten wir auch, wie mehrere Anwendungen interagieren, wenn sie zusammen ausgeführt werden. In diesem gemischten Arbeitslastszenario können wir sehen, wie unterschiedliche Anwendungen sich kombinieren und gegenseitig beeinflussen, unter verschiedenen Routing-Methoden.

Wir stellen fest, dass Q-adaptive Routing die Interferenzen insgesamt verringert. Anwendungen, die normalerweise aufgrund von Konkurrenz schlecht abschneiden, profitieren erheblich von dieser Routing-Methode. Sie ermöglicht es, Pakete effizienter durch das Netzwerk zu senden, was zu einer besseren Gesamtleistung der Anwendungen führt.

#Systemweite Netzwerk Analyse

Bei der Analyse des Netzwerks als Ganzes wird deutlich, dass Q-adaptive Routing zu einer ausgewogeneren Verteilung des Verkehrs führt. Dieses Gleichgewicht reduziert Staus und Hotspots und verbessert die Leistung im gesamten System.

Durch den Vergleich der Netzwerkleistung unter adaptiven Routing-Methoden und Q-adaptivem Routing beobachten wir, dass letzteres die Netzwerk-Stallzeiten erheblich senkt. Das bedeutet, dass Pakete mit weniger Verzögerungen durch das System bewegt werden können, was allen Anwendungen zugutekommt, die das Netzwerk nutzen.

#Fazit

Unsere Ergebnisse zeigen, dass das Design der Dragonfly-Verbindung Herausforderungen aufgrund von Arbeitslastinterferenzen mit sich bringt, aber intelligente Routing-Methoden wie Q-adaptiv diese negativen Effekte effektiv reduzieren können. Durch die Nutzung der Nachrichteninjektionsrate und des Spitzen-Eingangsvolumens als Metriken beleuchten wir, wie Anwendungen um Ressourcen konkurrieren.

Durch detaillierte Analysen zeigen wir, dass Q-adaptive Routing verbesserte Kommunikationszeiten und reduzierte Interferenzen ermöglicht. Dies ist entscheidend für die Leistung von Hochleistungscomputersystemen, insbesondere wenn sie in Grösse und Komplexität zunehmen. Die Ergebnisse unterstreichen die Bedeutung der Verfeinerung von Routing-Methoden, um einen effizienten Betrieb in gemeinsam genutzten Netzwerkumgebungen zu gewährleisten.

Zusammenfassend bestätigt unsere Studie die Vorteile des intelligenten Routings bei der Verwaltung von Arbeitslastinterferenzen und bietet wertvolle Einblicke in den Betrieb moderner Computernetzwerke. Die verbesserte Leistung zeigt das Potenzial von Q-adaptive Routing zur Unterstützung der effizienten Nutzung von Dragonfly-Verbindungen in zukünftigen Exascale-Computing-Umgebungen.