Make על Shadow AI: לקבוע מה כל אוטומציית AI רשאית להחליט, ולא רק אילו כלים מאושרים
סבסטיאן מרטנס, מנהל מוצר AI ראשי ב-Make, כותב שהסיכון הגדול ב-Shadow AI הוא לא רק עובדים שמשתמשים בכלים לא מאושרים, אלא אוטומציה שצוברת בהדרגה סמכות על תהליכים עסקיים בלי שמישהו אישר זאת. הדוגמה: עוזר שמסכם פניות לקוחות מחובר לבסיס הידע, מתחיל לנסח תשובות, שולח אותן לבד ובסוף מעדכן רשומות לקוח. לדבריו מודל מאושר שמחובר למסד נתונים מאושר עדיין יכול להוביל להחלטה לא מאושרת דרך MCP או API. במקום לאסור ניסויים הוא ממליץ להגדיר לכל תהליך את גבולות הגישה והסמכות של ה-AI לפי רמת הסיכון, לעורר בדיקה כשמחליפים מודל, מוסיפים כלי או משנים גישה לנתונים, למנות בעלים עסקי ובעלים לתחזוקה עם דרך לעצור את התהליך, ולשמור לוגים עובדתיים: לאילו נתונים ה-AI ניגש, איזו פעולה ביצע ואיזה אישור התיר אותה.
מערכת אוטומציה · תאריך פרסום
פרסום המקור: · Make
