16.03.2023 –, Hörsaal 2 (0110)
Workflow-Engines wie Apache Airflow sind ein wichtiges Instrument im Bereich Data Science. Sie bieten die Infrastruktur zum Definieren, Ausführen und Überwachen einer Abfolge von Schritten eines Datenverarbeitungsprozesses. Dieser Vortrag vergleicht eine Auswahl verfügbarer Open-Source Workflow-Engines, die sich besonders für Workflows mit Geodatenverarbeitung eignen. Zudem wird der OGC API – Processes-Standard, ein REST-API zur Ausführung und Überwachung von Prozessen vorgestellt.
Das neu aufgekommene Fach Data Science hat eine beträchtliche inhaltliche und technische Überschneidung mit traditionellen Aufgaben der Geodatenverarbeitung und -visualisierung. Die in diesem Umfeld entstandenen Tools sind deshalb auch von grossem Interesse für GIS-Fachpersonen.
Arbeitsschritte und Abhängigkeiten von Workflows werden deklarativ oder in einer Programmiersprache wie Python definiert. Die verbreitete Engine Apache Airflow hat die Workflow-Orchestrierung mithilfe von gerichteten azyklischen Graphen (engl. DAG, directed acyclic graph) populär gemacht.
Dieser Vortrag vergleicht die bekannte Apache Airflow-Engine mit Open-Source-Workflow-Engines wie Dagster, einer neueren DAG-basierten Lösung und Camunda, einer BPMN-basierten Workflow-Engine. Zudem gibt diser Vortrag einen Überblick über den neuen OGC API - Processes-Standard und zeigt mögliche Integrationen mit verfügbaren Workflow-Engines.
Pirmin Kalberer ist Mitgründer von Sourcepole in Zürich und trägt selbst als Entwickler zu verschiedenen Open Source GIS Projekten bei.