טרנספורמר
Transformer (machine learning)
טרנספורמר (באנגלית: Transformer) הוא סוג של ארכיטקטורה של רשת עצבית המשמשת לעיבוד נתונים סדרתיים, כגון טקסט, קול, וידאו, רצפים ביולוגיים וסדרות זמן. הארכיטקטורה מבוססת בעיקר על מנגנוני קשב, ובייחוד על מנגנון הקרוי קשב עצמי (Self-Attention), המאפשר למודל לחשב את הקשרים בין כל זוג יחידות ברצף.
עודכן ב־
בעמוד הזה
איך זה קשור לאוטומציה?
רוב מודלי השפה שמפעילים היום בתהליכי אוטומציה בנויים על ארכיטקטורת טרנספורמר. הבנה בסיסית שלה מסבירה למה יש למודל חלון הקשר מוגבל ולמה טקסט ארוך יותר עולה יותר ולוקח יותר זמן.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
תהליך שולח למודל שפה שרשור מיילים של לקוח ומבקש סיכום. מנגנון הקשב מקשר בין פרטים שמופיעים בהודעות שונות, אבל אם השרשור ארוך מחלון ההקשר צריך לקצר אותו או לחלק אותו לפני השליחה.
באילו כלים זה רלוונטי?
- Hugging Face
- מודלים מבוססי טרנספורמר זמינים לבדיקה ולהרצה; בדקו את גודל חלון ההקשר ואת הרישיון לפני שימוש עסקי.
מה חשוב לבדוק לפני שמיישמים?
- שליחת כל ההיסטוריה למודל בכל קריאה מייקרת את התהליך ולא תמיד משפרת את התשובה.