Ragas
מסגרת קוד פתוח לבדיקה והערכה של יישומי LLM.
בעמוד הזה
מה Ragas עושה?
Ragas מיועדת למדוד יישומי מודל שפה, בעיקר צינורות אחזור ותשובה, לפי מדדים ולא לפי תחושה. מריצים שאלות, בודקים נאמנות למקור וחושפים תשובות שאינן נשענות על המסמך. לפני שסומכים על הציון כדאי להתאים את סט השאלות לתהליך העסקי שלכם, כולל שאלות שאין עליהן תשובה במאגר. מדד גבוה על סט מלאכותי עלול להסתיר כשל בעברית.
יכולות מרכזיות
- הערכת יישומי LLM במסגרת קוד פתוח
- מדדים לנאמנות מקור ולאיכות אחזור
- בדיקה חוזרת אחרי שינוי בצינור
שימושים בעסק
- בדיקת סוכן ידע מול שאלות שיש להן מקור ידוע
- זיהוי תשובות שאינן נשענות על המסמך שאוחזר
איך מתחילים
- אספו שאלות ותשובות מקור אחרי הסרת מזהים.
- הריצו הערכה ראשונה ושמרו אותה כבסיס.
- הוסיפו שאלות בלי מקור ובדקו שהמערכת נמנעת מניחוש.
מה לבדוק לפני שבוחרים
- התאימו את סט הבדיקה לשפה ולמסמכים שלכם.
- ציון ממוצע עלול להסתיר כשל חמור בודד.
מקורות רשמיים
המקורות נבדקו ב־. מסלולים, מחירים ומגבלות שימוש עשויים להשתנות; בדקו את התנאים העדכניים באתר הכלי.
- Retell AI
פלטפורמה להפעלת סוכני קול לשיחות טלפון. היא מכוונת לתרחישי מוקד כגון קבלה, תיאום פגישה ומיון פניות עם חיבור לתהליך העסקי.
- Speechmatics
תשתית לזיהוי דיבור ושירותי קול למוצרים. היא מדגישה שיחות רב לשוניות וריבוי דוברים ומתאימה לתהליכים שבהם תמליל מדויק הוא חומר הגלם להמשך העבודה.
- Synthflow
פלטפורמה לסוכני קול המשלבת עיצוב תהליך עם בדיקה ופריסה. היא מדגישה ניהול מחזור העבודה של הסוכן ולא רק יצירת הודעת פתיחה.
- Vapi
פלטפורמה לבנייה, בדיקה והפעלה של סוכני קול. היא מרכזת את תשתית השיחה והחיבורים כך שמפתח יכול להתמקד בתהליך העסקי ובפעולות שהסוכן רשאי לבצע.