Die Neudefinition des Bestandsmanagements mit verständlichem Lernen

Die COVID-19-Pandemie hat allen gezeigt, wie fragil Lieferketten sein können. Leere Regale in Supermärkten und medikamenten Engpässe haben klar gemacht, dass Lieferketten nicht immer zuverlässig sind. Es ist wichtig, dass diese Ketten stark genug sind, um unerwartete Veränderungen in der Nachfrage, Probleme bei Lieferanten und Lieferverzögerungen zu bewältigen. Deshalb ist es echt nötig, bessere Wege zu finden, um Lieferketten zu managen.

Das Management von Lieferketten kann man in drei Hauptteile unterteilen: die Gestaltung der Lieferkette, die Planung ihrer Abläufe und die Ausführung der Pläne. Bei der Gestaltung geht es darum, wo man Ressourcen platziert, wie viel Kapazität benötigt wird und die gesamte Nachfrage. Die Planung befasst sich mit mittelfristigen Strategien, wie oft man Waren produzieren oder transportieren sollte. Die Ausführung umfasst das Management und die Kontrolle der Lieferkette. Diese Teile zu verstehen hilft, zu sehen, wie man Lieferketten in verschiedenen Phasen robuster machen kann.

In diesem Zusammenhang ist das Bestandsmanagement entscheidend. Traditionell haben Unternehmen Methoden verwendet, die statische Nachbestellrichtlinien festlegen. Diese Richtlinien bestimmen, wann und wie viel nachbestellt werden soll, basierend auf festen Kriterien wie Mindestbeständen. Zwar sind diese leicht zu verstehen und umzusetzen, aber sie passen sich oft nicht gut an plötzliche Veränderungen an, wie wir sie während der Pandemie gesehen haben. Das kann zu höheren Kosten und Ineffizienz führen.

Mit neuer Technologie hat sich der Fokus auf flexiblere und komplexere Richtlinien verschoben. Einige davon basieren auf Simulationen, während andere Methoden wie Reinforcement Learning (RL) nutzen. RL kann helfen, Dynamische Richtlinien zu finden, die sich an unterschiedliche Situationen anpassen, ohne strenge Regeln über die Umgebung zu brauchen. Allerdings sind viele dieser Modelle komplex und schwer zu interpretieren, was es für Stakeholder schwierig macht, die getroffenen Entscheidungen zu verstehen.

#Unser Ansatz

Um die Herausforderungen des traditionellen Bestandsmanagements anzugehen und es gleichzeitig verständlich zu halten, schlagen wir vor, interpretierbares Reinforcement Learning zu verwenden. Unser Ziel ist es, die Klarheit statischer Richtlinien mit der Komplexität und Anpassungsfähigkeit dynamischer Richtlinien zu kombinieren.

Wir nutzen Neuronale Additive Modelle (NAMs), um eine interpretable Richtlinie für das Bestandsmanagement zu erstellen. NAMs ermöglichen es uns, zu zeigen, wie verschiedene Faktoren die Entscheidungen beeinflussen, sodass es für Supply Chain Manager einfacher wird, ihre Abläufe zu verstehen. Das bedeutet, dass selbst wenn die Richtlinien dynamisch sind, Stakeholder weiterhin klar sehen können, wie die Entscheidungen getroffen werden.

Wir sind überzeugt, dass dieser Ansatz ein bedeutender Schritt nach vorne ist, um effektive Lösungen für dynamisches Bestandsmanagement zu finden. Unsere Forschung zeigt dies, indem wir NAMs zusammen mit Reinforcement Learning verwenden und damit nachweisen, dass dieser Ansatz mit traditionellen Black-Box-Modellen konkurrieren kann, während er verständlich bleibt.

#Verwandte Arbeiten

Die Optimierung von Beständen ist schon lange ein Forschungsschwerpunkt. Traditionell lagen die Methoden auf statischen Richtlinien, bei denen Nachbestellungen stattfinden, wenn die Bestände unter einen bestimmten Punkt fallen. Diese Strategie ist leicht zu verstehen und an Stakeholder zu kommunizieren.

Reinforcement Learning wurde verwendet, um das Bestandsmanagement zu verbessern, indem dynamische Richtlinien bereitgestellt werden, die sich an Änderungen in der Umgebung anpassen können. Einige frühe Arbeiten konzentrierten sich darauf, einfache Q-Learning-Techniken zu verwenden, um Bestände in Einprodukt-Lieferketten zu verwalten. Mit der Weiterentwicklung des Gebiets begannen Forscher, komplexere Lieferketten mit mehreren Produkten zu erkunden.

Der Einsatz von RL in der Bestandsoptimierung hat zu einigen Benchmarks geführt, die die Bewertung verschiedener Algorithmen ermöglichen. Dennoch hat sich ein Grossteil der Forschung nicht darauf konzentriert, diese Modelle interpretierbar zu machen. Während es einige Arbeiten gibt, die sich mit der Erklärbarkeit im Reinforcement Learning beschäftigt haben, besteht eine Lücke, wenn es darum geht, klare und verständliche Richtlinien für Stakeholder im Kontext des Bestandsmanagements bereitzustellen.

#Der Bedarf an interpretierbaren Richtlinien

Interpretierbares maschinelles Lernen ermöglicht es den Menschen zu verstehen, wie Entscheidungen von Modellen getroffen werden. Das ist besonders wichtig im Lieferkettenmanagement, wo das Verstehen der Gründe hinter Entscheidungen Managern hilft, effektiv mit verschiedenen Stakeholdern zu kommunizieren.

Im Gegensatz zu erklärbaren Methoden, die Entscheidungen analysieren, nachdem sie getroffen wurden, sind interpretierbare Modelle von Anfang an so konzipiert, dass sie verständlich sind. Das erlaubt Managern und anderen Stakeholdern, direkt mit den Richtlinien zu interagieren. Unser Ansatz konzentriert sich darauf, eine Richtlinie zu schaffen, die nicht nur effektiv, sondern auch klar für diejenigen ist, die darauf angewiesen sind.

#Unsere Methodik

Wir haben unseren Ansatz mithilfe eines einfachen Simulators für Lieferketten entwickelt. Dieser Simulator dient als Umgebung für unseren Reinforcement Learning-Agenten, der lernt, wie man Bestände in einem Multi-Echelon-Setup verwaltet. Der RL-Agent beobachtet die aktuellen Bestände und vorherige Aktionen, um Entscheidungen über Nachbestellungen zu treffen.

Die Verwendung von NAMs zur Darstellung der Richtlinie ermöglicht es uns, Einblicke in die Entscheidungen des Agenten zu gewinnen. Jedes Merkmal im Beobachtungsraum trägt unabhängig zum Ziel bei, was bedeutet, dass Stakeholder sehen können, wie Änderungen verschiedener Faktoren die Nachbestellentscheidungen beeinflussen. Dies ermöglicht es Supply Chain Managern, Einblicke zu gewinnen und die Abläufe effektiv anzupassen.

Wir haben unsere Methode durch verschiedene Simulationen getestet und die Leistung unseres NAM-basierten Ansatzes mit traditionellen Reinforcement Learning-Modellen verglichen. Die Ergebnisse zeigten, dass unsere Methode gut abschneidet und vergleichbare Ergebnisse liefert, während sie für die Nutzer verständlich bleibt.

#Experimentelles Setup

Um unseren Ansatz zu bewerten, haben wir eine spezifische Umgebung genutzt, die darauf ausgelegt ist, das Multi-Echelon-Bestandsmanagement zu untersuchen. Diese Umgebung besteht aus einer linearen Lieferkette mit drei Ebenen, wobei jede unterschiedliche Lagerkapazitäten, Kosten und Zeitrahmen zur Erfüllung der Nachfrage hat.

Wir haben unsere Experimente so eingerichtet, dass der Agent effektive Richtlinien lernen kann. Dazu gehörte die Anpassung der anfänglichen Bestände und des Zeitrahmens, in dem der Agent arbeitet. Indem wir diese Parameter variieren, konnten wir beurteilen, wie gut das Modell sich anpasst und unter verschiedenen Bedingungen abschneidet.

Die Eingaben des Agenten umfassten den aktuellen Stand der Bestände in den verschiedenen Ebenen, aktuelle Aktionen und andere relevante Informationen. Die Aktionen, die der Agent ergreifen kann, betrafen Entscheidungen darüber, wie viel auf jeder Stufe der Lieferkette nachbestellt werden soll.

Das Hauptziel war es, den Umsatz aus der Erfüllung der Kundennachfrage zu maximieren und gleichzeitig die Kosten für die Lagerhaltung zu minimieren. Dieses Belohnungssystem leitete den Agenten bei der Entwicklung effektiver Bestandsmanagement-Richtlinien.

#Ergebnisse

Die Ergebnisse unserer Experimente zeigten, dass die NAM-basierte Richtlinie die traditionelle Multi-Layer-Perceptron (MLP)-Richtlinie in Bezug auf kumulierte Belohnungen übertroffen hat. Die NAM-Richtlinien erwiesen sich als etwas effektiver und blieben dabei interpretierbar, was für praktische Anwendungen entscheidend ist.

Wir haben untersucht, wie gut sich die Richtlinien über die Zeit anpassen konnten. Während die NAM-Richtlinie einen leichten Rückgang der Leistung bei erhöhter Episodenlänge zeigte, blieb die MLP-Richtlinie stabiler. Das deutet darauf hin, dass zwar NAMs interpretierbar sind, sie jedoch möglicherweise weiter verfeinert werden müssen, um ihre Robustheit zu erhöhen.

Die Interpretation der Merkmalsbeiträge erlaubte es uns zu erkennen, wie verschiedene Faktoren die Bestellentscheidungen beeinflussten. Durch die Analyse dieser Beiträge gewannen wir Einblicke darüber, wie sich die Richtlinien unter verschiedenen Szenarien verhielten, insbesondere in Bezug auf die Erfüllung der Kundennachfrage und das Management von Beständen.

#Diskussion

Unsere Ergebnisse unterstreichen das Potenzial, interpretierbares Reinforcement Learning im Lieferkettenmanagement zu integrieren. Durch die Kombination traditioneller Methoden mit fortschrittlichen maschinellen Lerntechniken können Stakeholder bessere Ergebnisse erzielen und gleichzeitig Klarheit und Verständnis über Entscheidungsprozesse bewahren.

Der Einsatz von NAMs zeigt, dass es möglich ist, anspruchsvolle Bestandsmanagementrichtlinien zu haben, die auch für Manager und andere Stakeholder zugänglich bleiben. Die Fähigkeit, die Wichtigkeit von Merkmalen zu visualisieren und die Beiträge zu verstehen, hilft, Vertrauen aufzubauen und bessere Entscheidungen zu treffen.

Zukünftige Forschungsarbeiten können auf dieser Arbeit aufbauen, indem sie der Lieferkettenmodellen mehr Komplexität hinzufügen, höherstufige Merkmale einbeziehen und kompliziertere Umgebungen erkunden. Das könnte zu noch effektiveren und interpretierbaren Lösungen für reale Herausforderungen im Bestandsmanagement führen.

#Fazit

Unsere Studie betont die Bedeutung von interpretierbarem Reinforcement Learning zur Verbesserung des Lieferkettenmanagements. Durch den Einsatz von Neuronalen Additiven Modellen können wir dynamische Bestandsrichtlinien entwickeln, die für Stakeholder verständlich bleiben. Diese Arbeit eröffnet neue Möglichkeiten für den Einsatz von maschinellem Lernen in der Betriebsforschung und zur Bewältigung drängender Herausforderungen, mit denen Lieferketten heute konfrontiert sind.

Zusammenfassend kann unser Ansatz, interpretierbare Modelle mit Reinforcement Learning zu kombinieren, zu einem effektiveren Bestandsmanagement führen, während sichergestellt wird, dass Entscheidungsträger die Gründe hinter diesen Entscheidungen nachvollziehen können. Weitere Erkundungen in diesem Bereich versprechen grosse Fortschritte zur Verbesserung der Resilienz und Effizienz von Lieferketten in der modernen Wirtschaft.