Alle open source
Open SourceAutomatisering39k

Apache Airflow

Het industriestandaard platform voor het schrijven en plannen van DAG-workflows.

Apache Airflow is een beproefd open-source platform voor het programmatisch schrijven, plannen en monitoren van workflows die als directed acyclic graphs in Python zijn gedefinieerd. Het is de de-facto standaard voor data-engineering-orkestratie, met een uitgebreid provider-ecosysteem, een rijke web-UI voor het monitoren van runs en uitwisselbare executors voor schaling via Celery, Kubernetes en meer. Het wordt beheerd door de Apache Software Foundation.

Opslagplaats

apache/airflow

Taal

Python

Wat je ermee zou bouwen

  • Plannen en monitoren van complexe data-engineering- en ETL-DAG's over meerdere systemen
  • Orkestreren van terugkerende AI/ML-training- en feature-pipelines met afhankelijkheidsbeheer
  • Integreren van honderden providers (cloud, databases, API's) in één observeerbaar workflowvlak

Tags

orchestrationdagdata-engineeringscheduling