Astroinformatics and Heliophysics at the FHNW Institute for Data Science

Das Institut I4DS an der FHNW ist mit einer sehr zentralen Komponente am Aufbau der Datenverarbeitungs-infrastruktur des Projekts Euclid (eine ESA-Mission, welche im 2023 ins All startet) beteiligt. Dabei werden Pipelines parallelisiert und auf unterschiedlichen High Performance Computing (HPC) Clustern in Europa ausgeführt. Die in den verschiedenen Datenzentren zur Verfügung gestellten Ressourcen können dynamisch angepasst werden. Um die einzelnen Jobs der Pipelines nach den projektspezifischen Kriterien (z.B.Priorisierung der Pipelines) zu verteilen und dynamisch Ressourcen anzufordern, wird ein intelligentes Sche-duling-System benötigt. Die Zuteilung nach den Kriterien Durchsatz, Effizienz, Fairness und Ressourcen-Auslastung fällt in die Kategorie der NP-vollständigen Scheduling-Probleme. Eine optimale Lösung ist meist nicht berechenbar, daher gibt es verschiedene Algorithmen, Heuristiken und Meta-Heuristiken, welche gute Näherungslösungen berechnen. Die vom System angeforderten Ressourcen sollte möglichst effizient und ressourcensparend erfolgen. Dazu stehen zum einen Profiling Informationen der laufenden Jobs (CPU,RAM, Diskspace) – zum anderen die erwarteten, benötigten Ressourcen der gegenwärtigen und zukünftigenVerarbeitungsaufträge zur Verfügung.

Das Ziel der Arbeit ist eine effiziente Umsetzung des Scheduling-Problems für Euclid Pipelines. Verschiedene Lösungsstrategien sollen abgewägt werden und ihre effizienten Lösungen in einem Simulator getestet, respektive bewiesen werden.

Folgende Arbeiten sollen durchgeführt werden:
(1) Analyse der bekannten Lösungsstrategien und Algorithmen
(2) Implementierung eines Job-Scheduling Simulators für Euclid Pipelines
(3) Basierend auf der wissenschaftlichen Analyse:
(a) Unterschiedliche Ansätze zur Lösung des Scheduling Problems im Pipeline Simulator erarbeiten
(b) Analyse der Lösungsvarianten für den real-time Gebrauch innerhalb Euclid Pipelines