דילוג לתוכן

כלים/אוטומציה

Apache Airflow

פלטפורמת קהילה לכתיבה, תזמון וניטור של זרימות עבודה בקוד.

מה Apache Airflow עושה?

Apache Airflow מתאימה כשצוות רוצה לתאר צינורות נתונים ותהליכים כגרף משימות בקוד, לתזמן אותם ולראות מה רץ ומה נכשל. כותבים DAG, מגדירים תלויות ומנטרים הרצות. היא פלטפורמת קהילה ולא מוצר ענן יחיד. לפני אימוץ כדאי לתכנן אירוח, הרשאות ממשק, ומי מתחזק תוספים. תהליך עסקי פשוט עם שני חיבורים עשוי להיות עודף בפלטפורמה כזו.

יכולות מרכזיות

  • כתיבת זרימות עבודה כגרף משימות בקוד
  • תזמון הרצות וניטור הצלחה וכשל
  • תוספים לחיבור מקורות נתונים ומערכות

שימושים בעסק

  • צינור יומי שמחלץ, ממיר וטוען נתונים למחסן
  • שרשרת משימות שמחכה לקובץ ואז מפעילה בדיקות

איך מתחילים

  1. הריצו סביבת פיתוח והעלו DAG קצר עם שתי משימות.
  2. הפעילו ידנית ובדקו את גרף התלויות בממשק.
  3. גרמו למשימה להיכשל ובדקו התראה וניסיון חוזר.

מה לבדוק לפני שבוחרים

  • האירוח והעדכונים הם באחריות הצוות אלא אם נבחר שירות מנוהל.
  • DAG עם הרשאות רחבות יכול לגעת במערכות רבות בבת אחת.

מקורות רשמיים

המקורות נבדקו ב־. מסלולים, מחירים ומגבלות שימוש עשויים להשתנות; בדקו את התנאים העדכניים באתר הכלי.

כלים נוספים בתחום אוטומציה

4 מתוך 4