Open SourceAutomatisering39k
Apache Airflow
Het industriestandaard platform voor het schrijven en plannen van DAG-workflows.
Apache Airflow is een beproefd open-source platform voor het programmatisch schrijven, plannen en monitoren van workflows die als directed acyclic graphs in Python zijn gedefinieerd. Het is de de-facto standaard voor data-engineering-orkestratie, met een uitgebreid provider-ecosysteem, een rijke web-UI voor het monitoren van runs en uitwisselbare executors voor schaling via Celery, Kubernetes en meer. Het wordt beheerd door de Apache Software Foundation.
Opslagplaats
apache/airflowTaal
PythonWat je ermee zou bouwen
- Plannen en monitoren van complexe data-engineering- en ETL-DAG's over meerdere systemen
- Orkestreren van terugkerende AI/ML-training- en feature-pipelines met afhankelijkheidsbeheer
- Integreren van honderden providers (cloud, databases, API's) in één observeerbaar workflowvlak
Tags
orchestrationdagdata-engineeringscheduling