הערכות
Evals
לפי OpenAI, evaluations (נקראות לעיתים evals) בודקות פלט של מודל מול קריטריונים של סגנון ותוכן שהוגדרו מראש. כתיבת evals היא רכיב חיוני לבניית אפליקציות LLM אמינות, במיוחד כשמשדרגים מודל או מנסים מודל חדש.
עודכן ב־
איך זה קשור לאוטומציה?
בדיקות הערכה בודקות אם רכיב AI עומד בקריטריונים מוגדרים לאורך אוסף מקרים. הן שימושיות לפני שינוי מודל, פרומפט או מקור ידע, כדי לזהות שיפור לצד נסיגה במקרים אחרים.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
צוות שומר שאלות שירות עם תשובות צפויות ומקרים שבהם הבוט צריך להימנע מתשובה. אחרי שינוי בפרומפט מריצים את האוסף ובודקים נכונות, שימוש במקורות והעברה לנציג.
באילו כלים זה רלוונטי?
- LangGraph
- אפשר לבנות סוכן שניתן להריץ על מקרי בדיקה; כלי הערכה ותצפית משלימים את בדיקת התהליך.
מה חשוב לבדוק לפני שמיישמים?
- ממוצע אחד מסתיר כשלים. הציגו בנפרד טעויות בעובדות, פעולות לא מורשות ומקרים של מידע חסר.