הזרקת הוראות למודל
Prompt injection
ניסיון לגרום למודל לציית להוראות שמגיעות מקלט או מתוכן חיצוני שאינם מקור סמכות, בניגוד למשימה ולהגבלות היישום.
עודכן ב־
בעמוד הזה
איך זה קשור לאוטומציה?
הסיכון קיים גם במסמך, באתר או בהודעת לקוח שהסוכן קורא. צריך להפריד תוכן מהוראות ולהגביל כלים והרשאות מחוץ למודל, במיוחד לפני פעולה בעולם החיצוני.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
סוכן קורא אימייל שמבקש ממנו להתעלם מהכללים ולשלוח קובץ לכתובת אחרת. האימייל מטופל כנתון; כלי השליחה בודק יעד והרשאה ואינו מבצע את הבקשה רק כי הופיעה בטקסט.
באילו כלים זה רלוונטי?
- OpenAI Agents SDK
- כשמחברים סוכן לכלים, נדרשות בקרות על הקלט והביצוע מעבר להוראות המודל.
מה חשוב לבדוק לפני שמיישמים?
- סינון משפט אחד או הוראה לא לציית אינם הגנה מלאה. בדקו הרשאות, מקורות נתונים ופעולות ברמת היישום.