كل المشاريع مفتوحة المصدر
مفتوح المصدرأتمتة39k

Apache Airflow

المنصة المعيارية في الصناعة لتأليف سير عمل DAG وجدولتها.

Apache Airflow منصة مفتوحة المصدر مجرَّبة ميدانيًا لتأليف سير العمل المُعرَّفة كرسوم بيانية دورية موجهة في Python وجدولتها ومراقبتها برمجيًا. هي المعيار الفعلي لتنسيق هندسة البيانات، مع نظام بيئي ضخم من المزودين وواجهة مستخدم غنية لمراقبة عمليات التشغيل ومنفذات قابلة للإضافة للتوسع عبر Celery وKubernetes وغيرهما. تُديرها مؤسسة Apache Software Foundation.

المستودع

apache/airflow

اللغة

Python

ما الذي يمكنك بناؤه به

  • جدولة مهام DAGs المعقدة لهندسة البيانات وETL عبر أنظمة متعددة ومراقبتها
  • تنسيق خطوط تدريب AI/ML المتكررة والميزات مع إدارة التبعيات
  • دمج مئات المزودين (السحابة وقواعد البيانات وواجهات API) في مستوى واحد لسير العمل القابل للمراقبة

الوسوم

orchestrationdagdata-engineeringscheduling