בעמוד הזה
מה Braintrust עושה?
Braintrust מיועדת כשצריך לא רק לראות לוג של ריצה אלא גם לבדוק אם שינוי במודל או בפרומפט יצר רגרסיה. מריצים הערכות, עוקבים אחרי ייצור ומשווים תוצאות. מתאימה לצוות שיש לו סט דוגמאות מייצג ולא רק תחושת בטן. לפני שסומכים על הציון כדאי לוודא שהדוגמאות מכסות גם מקרים גבוליים ולא רק את המסלול השמח.
יכולות מרכזיות
- הערכות לסוכנים ולפרומפטים
- מעקב אחרי ריצות בייצור
- איתור רגרסיות אחרי שינוי במודל
שימושים בעסק
- בדיקת סוכן תמיכה מול סט פניות ידועות לפני פרסום
- השוואת מודל חדש מול הישן על אותן דוגמאות
איך מתחילים
- אספו כמה עשרות דוגמאות אמיתיות אחרי הסרת מזהים.
- הריצו הערכה ראשונה ושמרו אותה כבסיס.
- שנו פרומפט קטן ובדקו אם הציון יורד בדוגמה רגישה.
מה לבדוק לפני שבוחרים
- ציון טוב על סט קטן אינו מוכיח התנהגות בכל הלקוחות.
- עדכנו את סט הבדיקה כשמופיעים כשלים חדשים מהשטח.
מקורות רשמיים
המקורות נבדקו ב־. מסלולים, מחירים ומגבלות שימוש עשויים להשתנות; בדקו את התנאים העדכניים באתר הכלי.
- Cartesia
Cartesia מספקת API להקראת טקסט בזמן אמת בהזרמה, לסוכני AI ולאפליקציות אינטראקטיביות, לפי האתר הרשמי.
- ChatGPT
עוזר שיחה של OpenAI לכתיבה, מחקר ועבודה עם מידע וקבצים. הוא שימושי להכנת תוצר או ניתוח בממשק עבודה, בעוד שחיבור אוטומציה שרצה ברקע דורש לבחון בנפרד את מוצרי ה-API.
- Chroma
תשתית חיפוש בקוד פתוח ליישומי AI (וקטורי).
- Claude
עוזר AI של Anthropic לעבודה עם מסמכים, כתיבה וניתוח. ממשק השיחה מאפשר לפתח תוצר עם הקשר עסקי, ולבחון חיבורים למקורות עבודה במקום להעתיק מידע בין חלונות.