Tüm açık kaynaklar
Açık KaynakOtomasyon39k

Apache Airflow

DAG iş akışlarını yazmak ve zamanlamak için endüstri standardı platform.

Apache Airflow, Python'da yönlü döngüsüz grafikler olarak tanımlanan iş akışlarını programatik biçimde yazmak, zamanlamak ve izlemek için savaşta sınanmış açık kaynaklı bir platformdur. Veri mühendisliği orkestrasyonunun fiili standardıdır; geniş sağlayıcı ekosistemi, çalıştırmaları izlemek için zengin bir web UI ve Celery, Kubernetes ve daha fazlasında ölçekleme için takılabilir yürütücüler sunar. Apache Software Foundation tarafından yönetilmektedir.

Depo

apache/airflow

Dil

Python

Bununla neler kurabilirsin

  • Birçok sistem arasında karmaşık veri mühendisliği ve ETL DAG'larını zamanlama ve izleme
  • Bağımlılık yönetimiyle tekrarlayan AI/ML eğitim ve özellik hatlarını orkestre etme
  • Yüzlerce sağlayıcıyı (bulut, veritabanı, API) tek bir gözlemlenebilir iş akışı düzlemine entegre etme

Etiketler

orchestrationdagdata-engineeringscheduling