Açık KaynakOtomasyon39k
Apache Airflow
DAG iş akışlarını yazmak ve zamanlamak için endüstri standardı platform.
Apache Airflow, Python'da yönlü döngüsüz grafikler olarak tanımlanan iş akışlarını programatik biçimde yazmak, zamanlamak ve izlemek için savaşta sınanmış açık kaynaklı bir platformdur. Veri mühendisliği orkestrasyonunun fiili standardıdır; geniş sağlayıcı ekosistemi, çalıştırmaları izlemek için zengin bir web UI ve Celery, Kubernetes ve daha fazlasında ölçekleme için takılabilir yürütücüler sunar. Apache Software Foundation tarafından yönetilmektedir.
Depo
apache/airflowDil
PythonBununla neler kurabilirsin
- Birçok sistem arasında karmaşık veri mühendisliği ve ETL DAG'larını zamanlama ve izleme
- Bağımlılık yönetimiyle tekrarlayan AI/ML eğitim ve özellik hatlarını orkestre etme
- Yüzlerce sağlayıcıyı (bulut, veritabanı, API) tek bir gözlemlenebilir iş akışı düzlemine entegre etme
Etiketler
orchestrationdagdata-engineeringscheduling