שמירת פרומפט במטמון
Prompt caching
שמירת פרומפט במטמון (Prompt caching) היא שמירה זמנית של החלק הקבוע בתחילת הפרומפט אצל ספק המודל, כדי שהקריאות הבאות ימשיכו ממנו במקום לעבד אותו מחדש. ב-Anthropic מסמנים את החלק הזה עם cache_control, והמטמון נשמר כברירת מחדל 5 דקות ומתחדש בכל שימוש. רק תחילית זהה נשמרת, ולכן שינוי קטן בתחילת הפרומפט מבטל את השמירה.
עודכן ב־
איך זה קשור לאוטומציה?
כשאותה הוראה ארוכה נשלחת שוב ושוב בתחילת כל קריאה למודל, הספק מעבד אותה מחדש בכל פעם. שמירת פרומפט במטמון שומרת זמנית את החלק הקבוע הזה, וב־Anthropic מסמנים אותו עם cache_control. המטמון נשמר כברירת מחדל 5 דקות ומתחדש בכל שימוש, ורק תחילית זהה נשמרת.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
הנחיות קבועות בתחילת כל קריאה
בוט שירות שולח לכל פנייה את אותן הנחיות ארוכות על הטון והנהלים של העסק, ואחריהן את הודעת הלקוח. את ההנחיות הקבועות מסמנים לשמירה במטמון, והודעת הלקוח נשארת מחוץ לחלק השמור כי היא משתנה בכל פנייה.
שינוי קטן בתחילת הפרומפט
מישהו מוסיף תאריך של היום בשורה הראשונה של הפרומפט, והמטמון מפסיק לעזור. מכיוון שרק תחילית זהה נשמרת, שורה שמשתנה בראש הפרומפט מבטלת את השמירה, ולכן עדיף להעביר פרטים משתנים לסוף ההודעה.
באילו כלים זה רלוונטי?
מה חשוב לבדוק לפני שמיישמים?
- לשים פרט שמשתנה בכל קריאה, כמו תאריך או שם לקוח, בתחילת הפרומפט. רק תחילית זהה נשמרת, ולכן שינוי קטן שם מבטל את השמירה.
- להניח שהמטמון נשמר ללא הגבלת זמן. ברירת המחדל ב־Anthropic היא 5 דקות, והוא מתחדש בכל שימוש.