Ein skalierbarer Deep Reinforcement Learning-Ansatz zur Minimierung der Gesamtverspätung bei paralleler Maschinenbelegung

Abstract

Verschiedene Probleme im Logistikbereich können als Parallel Machine Scheduling Problem (PMSP) modelliert werden. Dabei geht es um die optimierte Zuweisung einer Reihe von Aufträgen an Maschinen. Deep Reinforcement Learning (DRL) hat sich bei der Lösung ähnlicher Probleme als vielversprechend erwiesen. Um dieser Motivation gerecht zu werden, beschreiben wir einen praktischen, auf Verstärkungslernen basierenden Ansatz, um ein PMSP mit regelmäßig neuen Aufträgen und Rüstzeit zwischen verschiedenen Varianten optimal zu lösen. In diesem Beitrag wird eine Zustandsmatrix variabler Länge entworfen, die Informationen zu allen Jobs enthält, und verwenden ein RNN-Modell (Recurrent Neural Network) zur Darstellung des DRL-Agenten. Im numerischen Experiment wird der Agent zunächst auf einer kleinen PMSP-Instanz mit 3 Maschinen und 30 Jobs trainiert. Anschließend wird dieser trainierte Agent genutzt, um eine Reihe von Experiementen mit deutlich größeren Instanzen zu lösen. Seine Leistung wird auch mit zwei Dispatching-Regeln verglichen. Die umfangreichen experimentellen Ergebnisse belegen die Skalierbarkeit des Ansatzes und seine Wirksamkeit in einer Vielzahl von Planungsszenarien.