זמן עד הטוקן הראשון
Time to first token (TTFT)
זמן עד הטוקן הראשון (TTFT) הוא מדד ביצועים שבודק כמה זמן עובר מהרגע שמודל שפה מקבל פרומפט ועד שהוא מפיק את הטוקן הראשון של התשובה.
עודכן ב־
איך זה קשור לאוטומציה?
בצ'אט או בסוכן קולי, המשתמש מרגיש בעיקר כמה זמן עובר עד שמשהו מתחיל לקרות. זמן עד הטוקן הראשון (TTFT) הוא מדד ביצועים שבודק כמה זמן עובר מהרגע שמודל שפה מקבל פרומפט ועד שהוא מפיק את הטוקן הראשון של התשובה. זה חלק מזמן השהיה הכולל, לא כל הזמן עד סוף התשובה.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
צוות שבונה בוט שירות מודד בנפרד את הזמן עד שהמילה הראשונה מופיעה ואת הזמן עד שהתשובה מסתיימת. כך הוא יודע אם ההמתנה נובעת מתחילת התגובה או מאורך התשובה.
באילו כלים זה רלוונטי?
- Anthropic
- ההגדרה כאן לקוחה ממילון המונחים של Anthropic.
מה חשוב לבדוק לפני שמיישמים?
- בלבול בין זמן עד הטוקן הראשון לבין זמן התגובה המלא. תשובה ארוכה יכולה להתחיל מהר ועדיין להסתיים לאט.