Åpen kildekodeAutomatisering39k
Apache Airflow
Industristandarden for å forfatte og planlegge DAG-arbeidsflyter.
Apache Airflow er en veletablert åpen kildekode-plattform for programmatisk å forfatte, planlegge og overvåke arbeidsflyter definert som rettede asykliske grafer i Python. Det er de facto standard for datateknisk orkestrering, med et stort leverandørkosystem, et rikt webgrensesnitt for kjøringsovervåking og utskiftbare eksekutorer for skalering på tvers av Celery, Kubernetes med mer. Prosjektet forvaltes av Apache Software Foundation.
Kodelager
apache/airflowSpråk
PythonDet du kan bygge med den
- Planlegge og overvåke komplekse datateknikk- og ETL-DAGer på tvers av mange systemer
- Orkestrere gjentakende AI/ML-trenings- og feature-pipelines med avhengighetsstyring
- Integrere hundrevis av leverandører (sky, databaser, APIer) i ett observerbart arbeidsflytplan
Tagger
orchestrationdagdata-engineeringscheduling