Código abiertoAutomatización39k
Apache Airflow
La plataforma estándar del sector para crear y planificar flujos de trabajo DAG.
Apache Airflow es una plataforma open-source de probada solidez para crear, planificar y monitorizar de forma programática flujos de trabajo definidos como grafos acíclicos dirigidos en Python. Es el estándar de facto para la orquestación de ingeniería de datos, con un vasto ecosistema de proveedores, una completa interfaz web para monitorizar ejecuciones y ejecutores configurables para escalar con Celery, Kubernetes y más. Está gobernada por la Apache Software Foundation.
Repositorio
apache/airflowLenguaje
PythonLo que construirías con esto
- Planificar y monitorizar DAGs complejos de ingeniería de datos y ETL en múltiples sistemas
- Orquestar pipelines recurrentes de entrenamiento AI/ML y generación de características con gestión de dependencias
- Integrar cientos de proveedores (nube, bases de datos, APIs) en un único plano de flujos de trabajo observable
Etiquetas
orchestrationdagdata-engineeringscheduling