Promptfoo
פלטפורמה לאבטחת AI ולהערכת מודלים ופרומפטים בפיתוח.
בעמוד הזה
מה Promptfoo עושה?
Promptfoo מיועדת לבדיקות לפני שסומכים על פרומפט או על מודל בסביבה חיה. מריצים מקרי בדיקה, בודקים הזרקות וחושפים תשובות מסוכנות או לא עקביות. מתאימה לצוות פיתוח שרוצה שער איכות ולא רק ניסוי ידני בצ׳אט. לפני שסוגרים גרסה כדאי לכלול גם דוגמאות בעברית ומקרים שבהם המודל צריך לסרב. שמרו את סט הבדיקה ליד הקוד כדי שאפשר יהיה להריץ אותו שוב אחרי כל שינוי.
יכולות מרכזיות
- הערכת פרומפטים ומודלים בפיתוח
- בדיקות אבטחה והזרקת הוראות
- השוואה בין גרסאות לפני פרסום
שימושים בעסק
- בדיקת סוכן פנימי מול ניסיונות לשנות הוראות
- השוואת שני פרומפטים על אותה סדרת שאלות
איך מתחילים
- כתבו כמה מקרי בדיקה עם תוצאה צפויה.
- הריצו אותם על גרסת הפרומפט הנוכחית.
- הוסיפו מקרה סירוב ומקרה הזרקה לפני שחרור.
מה לבדוק לפני שבוחרים
- סט בדיקות באנגלית בלבד עלול לפספס כשלים בעברית.
- הערכה אינה מחליפה מעקב אחרי ריצות אמיתיות אצל לקוחות.
מקורות רשמיים
המקורות נבדקו ב־. מסלולים, מחירים ומגבלות שימוש עשויים להשתנות; בדקו את התנאים העדכניים באתר הכלי.
- Qdrant
מנוע חיפוש וקטורי בקוד פתוח (Rust) לדמיון בין וקטורים.
- Ragas
מסגרת קוד פתוח לבדיקה והערכה של יישומי LLM.
- Retell AI
פלטפורמה להפעלת סוכני קול לשיחות טלפון. היא מכוונת לתרחישי מוקד כגון קבלה, תיאום פגישה ומיון פניות עם חיבור לתהליך העסקי.
- Speechmatics
תשתית לזיהוי דיבור ושירותי קול למוצרים. היא מדגישה שיחות רב לשוניות וריבוי דוברים ומתאימה לתהליכים שבהם תמליל מדויק הוא חומר הגלם להמשך העבודה.