מעקות בטיחות
Guardrails
לפי NVIDIA NeMo, guardrails הם שכבת בקרה לתכנות סביב אפליקציות LLM: חוסמים, משנים או מאמתים קלט של משתמש ופלט של מודל שאינם בטוחים, חורגים מהנושא, זדוניים או מפרים מדיניות.
עודכן ב־
איך זה קשור לאוטומציה?
בקרות סביב מודל יכולות לאמת קלט ופלט ולהגביל פעולות. הן שימושיות כשצריך לוודא שהטקסט או קריאת הכלי עומדים בחוקים, ולא להסתמך רק על הוראה בתוך הפרומפט.
דוגמאות שימוש באוטומציה
הדוגמאות להמחשה. את החיבורים והכללים מתאימים למערכות ולתהליך של העסק.
סוכן מציע הנחה ומכין הודעה ללקוח. לפני שליחה, קוד בודק שהאחוז נמצא בטווח המותר ושיש אישור מתאים; הצעה שחורגת נעצרת ומועברת למנהל.
באילו כלים זה רלוונטי?
- OpenAI Agents SDK
- אפשר לשלב בדיקות סביב קלט ופלט של סוכן; הרשאות לפעולות צריכות להיאכף גם בכלים עצמם.
מה חשוב לבדוק לפני שמיישמים?
- חסימת מילים לבדה אינה מנגנון הגנה מספיק. בדקו הרשאות, נתונים ופעולות גם מחוץ למודל.
