Optimierung des hierarchischen föderierten Lernens für Inferenzanfragen

Hierarchisches Föderiertes Lernen (HFL) ist eine Technik, die hilft, Kommunikationskosten zu senken und die Serverlast zu verteilen, indem Zwischensammelstellen eingeführt werden. Diese Knoten sitzen zwischen den Clients und dem zentralen Server, was ein besseres Management von Machine-Learning-Modellen ermöglicht. Mit Modellkopien auf verschiedenen Ebenen – einschliesslich Client-Geräten, Zwischennodes und dem globalen Server – macht HFL es einfacher, Anfragen auf effiziente Weise zu bearbeiten.

Allerdings bringt dieses Setup einige Herausforderungen mit sich, besonders wenn Modelle gleichzeitig trainiert und bereitgestellt werden. Wenn Ressourcen sowohl für das Training als auch für die Inferenz geteilt werden, können sich diese Aktivitäten gegenseitig stören, was zu Leistungsproblemen führt. Um das zu lösen, schlagen wir ein Orchestrierungsschema vor, das die Inferenzlasten berücksichtigt. Dieses Schema zielt darauf ab, die Konfiguration von HFL zu optimieren, indem es in Betracht zieht, wie Inferenzanfragen die Verarbeitungskapazität beeinflussen.

Im Bereich Verkehr können wir deutliche Vorteile sehen. Indem wir optimieren, wo die Aggregatoren platziert werden und wie Geräte mit ihnen verbunden sind, können wir die Inferenzlatenz und Kommunikationskosten im Vergleich zu traditionellen zentralisierten föderierten Lernmethoden senken.

#Hintergrund

Beim traditionellen maschinellen Lernen wird ein Modell normalerweise mit Daten trainiert, die auf einem zentralen Cloud-Server gesammelt werden. Inferenzanfragen können entweder aus der Cloud oder direkt von Endgeräten bedient werden, was mit dem Wachstum des Edge-Computing immer üblicher wird. Sowohl Training als auch Inferenz bringen ihre eigenen Herausforderungen mit sich.

Daten sind oft über viele Geräte verstreut, was es schwer macht, alles an einem Ort zu sammeln. Das wirft Bedenken hinsichtlich Logistik und Datenschutz auf. Ausserdem, obwohl KI-Beschleuniger weit verbreitet sind, ist es kompliziert, Inferenzanfragen schnell und genau zu bedienen, während der Datenschutz gewahrt bleibt.

Föderiertes Lernen (FL) hat sich als mögliche Lösung für einige dieser Probleme herauskristallisiert. Bei FL sammeln Clients Daten auf ihren eigenen Geräten und trainieren ein Modell lokal. Dann senden sie die Ergebnisse an einen zentralen Server, der die Informationen kombiniert, um ein neues globales Modell zu erstellen. Dieser Prozess wiederholt sich, bis das Modell ein gewünschtes Mass an Genauigkeit erreicht.

FL unterscheidet sich vom traditionellen Deep Learning, weil es viele teilnehmende Knoten umfasst und die Daten oft unausgewogen und nicht einheitlich sind. Die Leistung in FL hängt stark von den Kommunikationsfähigkeiten der beteiligten Geräte ab, die stark variieren können. Darüber hinaus können in FL erhebliche Netzwerkkosten anfallen, da Clients Modellaktualisierungen anstelle von Rohdaten teilen müssen.

HFL zielt darauf ab, diese Herausforderungen zu bewältigen, indem häufige Aggregationen am Rand des Netzwerks ermöglicht werden, wodurch die Notwendigkeit für teures cloudbasiertes Handling verringert wird. In diesem Setup werden Clients in Gruppen zusammengefasst, mit lokalen Aggregator-Knoten, die für jede Gruppe festgelegt sind, was Aspekte wie Kommunikationskosten und Lerngeschwindigkeit optimiert.

#Die Rolle der Aggregatoren im HFL

Im hierarchischen FL ist die zentrale Frage, wie man FL-Clients effektiv gruppiert und lokale Aggregator-Knoten zuweist, um die Leistung zu verbessern. Durch diese Struktur entstehen während des HFL-Prozesses natürlich Modellkopien. Diese Kopien sind verfügbar, um Inferenzanfragen zu bedienen, was dank ihrer Nähe zu schnelleren Antworten führen kann.

Allerdings erfordert dieses Arrangement eine sorgfältige Koordination zwischen Training und Inferenz. Kontinuierliche Lernszenarien, in denen Modelle während der Bereitstellung von Inferenzanfragen neu trainiert werden müssen, können zu Konkurrenz um Rechen- und Netzwerkressourcen führen. Daher ist es wichtig, diese beiden Prozesse gemeinsam zu orchestrieren, um eine hohe Leistung aufrechtzuerhalten.

#Die Bedeutung der Last-bewussten Orchestrierung

Unsere Arbeit konzentriert sich auf die Orchestrierung des kontinuierlichen hierarchischen FL und zielt darauf ab, zwei Hauptfragen zu beantworten:

1. Wie können wir einen HFL-Prozess orchestrieren, während wir die Inferenzlasten berücksichtigen?
2. Welche Leistungsverbesserungen können wir in Bezug auf die Reduzierung der Inferenzlatenz und Kommunikationskosten erzielen?

Durch die Einführung eines Rahmens für die HFL-Orchestrierung können wir das Inferenz-bewusste HFL-Orchestrierungsproblem (HFLOP) lösen. Dieser Rahmen ermöglicht es uns, FL-Geräte optimal den Aggregator-Knoten zuzuweisen, wobei wir ihre Verarbeitungskapazitäten berücksichtigen. Soweit wir wissen, ist dies der erste Versuch, das Zusammenspiel von Training und Inferenz im HFL-Kontext zu betrachten.

Wir wenden unser Optimierungsschema in einem realen Szenario im Transportbereich an. Die Ergebnisse zeigen, dass unser Ansatz zu realisierbaren Reduktionen sowohl der Inferenzlatenz als auch der Kommunikationskosten führt. Unser Code ist ebenfalls als Open Source verfügbar, um anderen Forschern zu helfen.

#Übersicht über kontinuierliches Lernen

Kontinuierliches oder lebenslanges Lernen ist ein anerkanntes Studiengebiet, das sich mit der Anpassung von Modellen über die Zeit mit Streaming-Daten befasst. Dieser Ansatz ermöglicht es Modellen, auf der Grundlage früheren Lernens besser zu werden, während sie in der Lage sind, Wissen auf neue Situationen anzuwenden. Allerdings wird dieser Aspekt beim föderierten Lernen oft nicht berücksichtigt, da typischerweise von einem einmaligen Trainingsprozess ausgegangen wird.

In der Realität müssen Modelle möglicherweise im Laufe der Zeit neu trainiert werden, um genau zu bleiben. Aktuelle Forschungen konzentrieren sich auf Methoden, um dieses Problem zu managen, wobei der Fokus auf katastrophalem Vergessen liegt – wo Modelle nicht in der Lage sind, vorheriges Wissen zu behalten, wenn neue Daten hinzukommen. Einige Methoden untersuchen die Verwendung von gewichteten Strategien für die Verarbeitung und lokale Trainingslösungen zur Verbesserung der Leistung.

Es ist wichtig zu beachten, dass bestehende Studien hauptsächlich auf den Trainingsaspekt fokussiert sind und die Herausforderungen der Serviceorchestrierung innerhalb kontinuierlicher Lernprozesse nicht berücksichtigen.

#Der Bedarf an gemeinsamer Trainings- und Inferenzoptimierung

Ein Grossteil der aktuellen Forschung im föderierten Lernen konzentriert sich auf die Trainingsphase und übersieht die Inferenzphase. Dies ist besonders wichtig im kontinuierlichen Lernen, wo Inferenz- und Trainingsaufgaben sich überschneiden können.

Frühere Arbeiten haben begonnen, die Probleme der gleichzeitigen Optimierung von Training und Inferenz anzugehen. Sie haben Modelle eingeführt, um die Leistung von Clients basierend auf ihren Inferenzfähigkeiten zu verstehen. Herausforderungen bestehen darin, Entscheidungen der Clients zu managen, etwa ob sie am FL teilnehmen und wie sie mit Modellaktualisierungen umgehen.

Unsere Arbeit teilt eine ähnliche Motivation, betont jedoch den hierarchischen FL-Rahmen. Trotz des bestehenden Forschungsstands im HFL gibt es immer noch eine Lücke in Studien, die den Service der Inferenz im HFL-Kontext untersuchen.

#Anwendungen zur Verkehrsflussvorhersage

Ein praktischer Bereich, in dem kontinuierliches und föderiertes Lernen besonders relevant sind, ist die Verkehrsflussvorhersage (TFP). Genaue Verkehrsprognosen sind entscheidend, um Staus zu verringern und den Verkehr in Smart Cities zu optimieren. In TFP sammeln verschiedene Sensoren Daten und trainieren lokale Modelle zur Schätzung des zukünftigen Verkehrsflusses. Diese Modelle müssen sich kontinuierlich an veränderte Verkehrsbedingungen anpassen.

Mehrere bestehende Methoden konzentrieren sich auf föderierte Lernansätze, die auf TFP zugeschnitten sind. Zum Beispiel clustern einige Verfahren Clients basierend auf den Ähnlichkeiten ihrer lokalen Modelle, während andere Algorithmen vorschlagen, die spezifische neuronale Netze zur Verbesserung der Vorhersagen verwenden.

Im Gegensatz zu früheren Arbeiten konzentrieren wir uns auf eine schnelle TFP-Bereitstellung, die speziell für HFL-Setups entwickelt wurde.

#Systemarchitektur

Das Ziel von HFL ist es, Kommunikationskosten und die Last auf einzelnen Aggregationsservern zu senken. Clients werden basierend auf ihrer Netzwerknähe in Cluster organisiert. Sie führen zuerst lokale Aggregationen durch, bevor sie die aggregierten Modelle an einen globalen Server senden.

Dieser zweistufige Aggregationsprozess ermöglicht es den Clients, ihre trainierten Modelle an lokale Server zu übertragen, die dann diese Modelle aggregieren und die aktualisierte Version zurück an die Clients senden. Nach ausreichenden lokalen Runden wird das lokale Modell an den globalen Server zur abschliessenden Aggregation gesendet.

Unsere Architektur berücksichtigt die gemeinsame Orchestrierung sowohl von Training als auch von Inferenzbereitstellungsprozessen. Das System beinhaltet einen allgemeinen Orchestrator, wie Kubernetes, der hilft, Informationen über die Compute-Infrastruktur zu sammeln, während er auch das Deployment von Mikrodiensten verwaltet.

Ein spezialisierter Service-Orchestrator auf HFL-Ebene trifft Entscheidungen basierend auf Echtzeitdaten über den Ressourcenstatus und die Clientanfragen. Durch Clustering-Mechanismen kann er eine Hierarchie von Clients bilden und eine optimale Konfiguration für effiziente Operationen bestimmen.

#Das Inferenz-bewusste HFL-Orchestrierungsproblem

Der Kern unserer Architektur besteht darin, Clients und Aggregatoren richtig zu clustern, während ihre Inferenzlasten berücksichtigt werden. Wir führen ein Modell ein, das sowohl Training als auch Inferenz gemeinsam darstellt, zusammen mit einer Ganzzahl-linear-programmierungsformulierung, um Kommunikationskosten zu minimieren.

In unserem Modell nimmt eine Gruppe von Geräten an der FL-aufgabe teil, wobei jedes Gerät berechtigte Aggregationsstandorte hat. Die Kommunikationskosten, die mit Geräte-Aggregator-Paaren verbunden sind, unterscheiden sich je nach Nähe.

Nach mehreren lokalen Trainings-Epochen senden die Clients ihre Berechnungen an die ihnen zugewiesenen Aggregatoren. Diese Aggregatoren reichen dann ihre Modelle beim globalen Server ein, nachdem die lokalen Runden abgeschlossen sind. Gleichzeitig generieren Geräte Inferenzanfragen, die von den Knoten verarbeitet werden müssen, die die aktuelle Version des Modells hosten.

Das Orchestrierungsproblem zielt darauf ab, die optimale Platzierung von Aggregatoren und die Zuweisung von Geräten zu ermitteln, um Kommunikationskosten zu minimieren und gleichzeitig die Verarbeitungskapazitätsgrenzen zu respektieren.

Lösungen für dieses Problem beinhalten die Zuordnung binärer Variablen, die die Beziehungen zwischen Geräten und Aggregatoren darstellen, und die Bestimmung, wo Aggregatoren platziert werden sollten. Eine erfolgreiche Lösung wird die Kommunikationskosten senken und gleichzeitig sicherstellen, dass allen Geräten ausreichend Ressourcen bereitgestellt werden.

#Leistungsüberlegungen

Angesichts der Komplexität des Orchestrierungsproblems kann es eine Herausforderung sein, optimale Lösungen für grössere Instanzen zu finden. Tests mit verschiedenen Grössen von Probleminstanzen zeigen, dass es beträchtliche Zeit in Anspruch nehmen kann, um optimale Lösungen abzuleiten.

Das ist jedoch in vielen praktischen Situationen machbar, da die HFL-Orchestrierung nicht häufig gelöst werden muss. Für grössere Setups können Anpassungen bestehender Heuristiken und Approximationsmethoden verwendet werden.

#Testmethodik

Experimente wurden durchgeführt, um die Leistung unseres Orchestrierungsschemas zu bewerten, wobei der Fokus auf Kommunikationskosten, Inferenzdienstzeiten und der Gesamtgenauigkeit der föderierten Lernclients lag.

Ein hierarchisches föderiertes Lern-Framework wurde mit Inferenzanfragen getestet. Während die Clients kontinuierlich Modelle auf ihren lokalen Daten trainieren, senden sie ihre trainierten Modelle an lokale Server. Falls nötig, werden Inferenzanfragen an den entsprechenden Aggregator weitergeleitet.

#Leistung des kontinuierlichen Lernens

Mit Gated Recurrent Units (GRU) für die Verkehrsprognose haben unsere Experimente die Vorteile kontinuierlichen Trainings erkundet, das die Verwendung eines Modells auf früheren Daten und die Anpassung an neue Informationen umfasst.

Die beste Leistung wurde mit einer festgelegten Struktur erzielt, was zu niedrigeren mittleren quadratischen Fehlern (MSE) im Vergleich zu statischen Modellen führte.

#Inferenzbereitstellungsleistung

Weitere Experimente konzentrierten sich darauf, wie effektiv Inferenzanfragen verarbeitet wurden, während Clients trainierten. Jeder föderierte Lernclient wurde mit einer Rate von Inferenzanfragen zugewiesen, und Edge-Server wurden hinzugefügt, um diese Anfragen zu bearbeiten.

In nicht-hierarchischen Setups mussten Clients sich auf Cloud-Server verlassen, was zu höheren Antwortzeiten führte. In hierarchischen Setups ermöglichten standortbasierte Cluster lokalen Servern, Anfragen zu bearbeiten, was die Antwortzeiten erheblich verbesserte.

In Tests war die durchschnittliche Antwortzeit für Inferenzanfragen in den hierarchischen Setups viel niedriger als in den nicht-hierarchischen, was zeigt, dass die Verarbeitung näher am Client zu einer besseren Leistung führt.

#End-to-End-Latenz

Die Studie betrachtete auch die End-to-End-Latenz über verschiedene Rechenkapazitäten hinweg und verglich die Leistung verschiedener Methoden. Unter der Annahme, dass Edge-Server ähnliche Leistung wie Cloud-Server hatten, zeigen die Ergebnisse, dass die hierarchischen Methoden konsistente Verbesserungen bei den Antwortzeiten boten.

#Kosteneinsparungen

Zuletzt wurden die Kommunikationskosten in verschiedenen Szenarien analysiert. Experimente zeigten, dass unsere hierarchischen Methoden im Vergleich zu standardmässigen föderierten Lernmethoden zu erheblichen Einsparungen bei den Kommunikationskosten führen.

Mit zunehmender Dichte der Edge-Knoten wurden die Einsparungen bedeutender, was zeigt, dass Clustering die Gesamtkosten der Kommunikation effektiv reduzieren kann.

#Erweiterungen und zukünftige Arbeiten

Das HFL-Orchestrierungsproblem kann weiter ausgedehnt werden, um verschiedene betriebliche Bedürfnisse zu berücksichtigen, wie z.B. die Berücksichtigung von Datenschutz und Zuverlässigkeit. Darüber hinaus stellt die Berücksichtigung unterschiedlicher Datenverteilungen unter Clients eine neue Herausforderung dar, die die Orchestrierungskomplexität erhöht.

In praktischen Umgebungen wird es auch entscheidend sein, sich an dynamische Veränderungen in den Gerätepopulationen und den Bedingungen von Edge-Knoten anzupassen. Diese fortlaufende Arbeit zielt darauf ab, diese Ansätze zu verfeinern, um sicherzustellen, dass sie reale Szenarien effektiv bewältigen können.

#Fazit

Diese Arbeit hat sich mit den Herausforderungen beschäftigt, die mit der Bereitstellung von Inferenzanfragen während des Trainings von Modellen im Kontext des föderierten Lernens verbunden sind. Durch die Einführung des Inferenz-bewussten HFL-Orchestrierungsproblems haben wir die Grundlage für ein System geschaffen, das Clients basierend auf ihren Inferenzlasten und Netzwerk kosten clustert.

Unsere Experimente haben die Vorteile dieses Ansatzes verstärkt, indem sie Reduktionen in den Kommunikationskosten und Antwortzeiten zeigten, während das kontinuierliche Training der föderierten Lernclients aufrechterhalten wurde. Diese Vorteile sind entscheidend für Anwendungen wie die Verkehrsprognose und zeigen das Potenzial von HFL in realen Szenarien.