מבחן AutomationBench של Zapier נכנס למדד Specialized Intelligence: גם המודל הטוב ביותר משלים רק כחצי מתהליכי העבודה העסקיים
Zapier צירפה את AutomationBench, המבחן שלה לסוכני AI בתהליכים עסקיים, למדד Specialized Intelligence Index (SII) של Fireworks. היא אחת מ-32 שותפות חדשות בסבב הזה. המבחן בנוי על דפוסים מיותר מ-2 מיליארד משימות בחודש של 3.7 מיליון חברות ב-Zapier: בכל משימה הסוכן מקבל בקשה אחת, כמו עובד תפעול בסלאק, ועובד מול חברה מדומה עם CRM, תיבת מייל, גיליונות וקריאות שירות, על פני 47 אפליקציות מדומות. הבדיקה היא לפי מה שבאמת השתנה באפליקציות, לא לפי מה שהסוכן מדווח, ומשימה עוברת רק אם כל הבדיקות תקינות. הדירוג רץ על 657 משימות חסויות. Gemini 4 Argon מוביל עם 51.3%, ו-Claude Sonnet 5.5 שני עם 44.7%. לפי רובין סלימנס מ-Zapier, רוב הכישלונות הם ביטחון שגוי: הסוכן מדווח שהצליח והנתונים מראים אחרת. המחיר לא מנבא ביצועים. GPT-6 Sol מגיע לכ-80% מהציון של GPT-6 Astra בכשישית מהעלות למשימה, ו-Sonnet 5.5 עוקף את Opus 5.5 וגם זול ממנו. GPT-6 Luna ו-DeepSeek V4 Flash עולים 0.04 דולר למשימה אבל משלימים פחות מרבע מהתהליכים. ההמלצה: מודל זול לצעד בודד כמו מיון פנייה, מודל מהצמרת לסוכן שעובד מול כמה אפליקציות, ובכל מה שנוגע ללקוחות או לכסף להוסיף אחרי צעד ה-AI צעד חיפוש ופילטר שעוצר את ה-Zap אם הרשומה לא עודכנה כמו שצריך. כל 126 התצורות מופיעות ב-zapier.com/benchmarks.
מערכת אוטומציה · תאריך פרסום
פרסום המקור: · Zapier
