Apache Airflow

Die Industriestandard-Plattform zum Erstellen und Planen von DAG-Workflows.

Apache Airflow ist eine bewährte Open-Source-Plattform zum programmatischen Erstellen, Planen und Überwachen von Workflows, die als gerichtete azyklische Graphen in Python definiert werden. Es ist der De-facto-Standard für Data-Engineering-Orchestrierung, mit einem umfangreichen Provider-Ökosystem, einer reichhaltigen Web-UI zur Laufzeitüberwachung und austauschbaren Executors zur Skalierung über Celery, Kubernetes und weitere. Es wird von der Apache Software Foundation verwaltet.