All öppen källkod
Öppen källkodAutomation39k

Apache Airflow

Industristandarden för att skapa och schemalägga DAG-arbetsflöden.

Apache Airflow är en beprövad öppen källkod-plattform för att programmatiskt skapa, schemalägga och övervaka arbetsflöden definierade som riktade acykliska grafer i Python. Det är de facto-standarden för datateknisk orkestrering, med ett enormt ekosystem av providers, ett rikt webgränssnitt för att övervaka körningar, och utbytbara executors för skalning via Celery, Kubernetes med mera. Projektet förvaltas av Apache Software Foundation.

Kodförråd

apache/airflow

Språk

Python

Vad du kan bygga med det

  • Schemalägga och övervaka komplexa datateknik- och ETL-DAG:ar över många system
  • Orkestrera återkommande AI/ML-tränings- och feature-pipelines med beroendehantering
  • Integrera hundratals providers (moln, databaser, API:er) i ett och samma observerbara arbetsflödesplan

Taggar

orchestrationdagdata-engineeringscheduling