All åpen kildekode
Åpen kildekodeAutomatisering39k

Apache Airflow

Industristandarden for å forfatte og planlegge DAG-arbeidsflyter.

Apache Airflow er en veletablert åpen kildekode-plattform for programmatisk å forfatte, planlegge og overvåke arbeidsflyter definert som rettede asykliske grafer i Python. Det er de facto standard for datateknisk orkestrering, med et stort leverandørkosystem, et rikt webgrensesnitt for kjøringsovervåking og utskiftbare eksekutorer for skalering på tvers av Celery, Kubernetes med mer. Prosjektet forvaltes av Apache Software Foundation.

Kodelager

apache/airflow

Språk

Python

Det du kan bygge med den

  • Planlegge og overvåke komplekse datateknikk- og ETL-DAGer på tvers av mange systemer
  • Orkestrere gjentakende AI/ML-trenings- og feature-pipelines med avhengighetsstyring
  • Integrere hundrevis av leverandører (sky, databaser, APIer) i ett observerbart arbeidsflytplan

Tagger

orchestrationdagdata-engineeringscheduling