סוכני AI צריכים בקרה, לא רק התנהגות מתהווה

אימוץ סוכני AI מתקדם מהר יותר מהיכולת של ארגונים לנהל אותם נכון. ארגונים רבים רואים בסוכן אוטונומי דרך לקצר תהליכים, להפעיל שירות לקוחות, לבצע תחקור מידע, לנהל חריגות תפעוליות ואף לקבל החלטות מסחריות. ההבטחה אמיתית, אבל היא מסוכנת כאשר מתבלבלים בין התנהגות מרשימה לבין אמינות מערכתית.

סוכני AI אינם שכבת בקרה עסקית

ניסוי קהילתי שפורסם ב-Hugging Face סביב סימולציית שוק בשם Thousand Token Wood ממחיש זאת היטב. בגרסה מוקדמת, מודל קטן שהפעיל כמה דמויות הגיב לשמועה על משאב בשם דבש כמו אירוע ריצה על בנק, מכר באגרסיביות וגרם לצניחת מחיר. כאשר אותה סביבה הופעלה עם חמישה מודלים שונים, הדינמיקה התהפכה: הסוכנים פירשו את השמועה כסימן למחסור, אגרו דבש והמחיר עלה. מבחינה עסקית זהו רגע חשוב, כי אותה משימה, אותו עולם ואותה כוונה יצרו תוצאה הפוכה רק בגלל שינוי באוכלוסיית המודלים.

ניהול סוכנים דורש גבולות דטרמיניסטיים

הלקח אינו שסוכנים חלשים, אלא שאסור להפקיד בידיהם נקודות הכרעה ללא מנגנוני בקרה. מודלים שפתיים הם מערכות הסתברותיות, ולכן גם כאשר הם עובדים היטב הם אינם מבטיחים חזרתיות מלאה בתנאי קצה. לכן עצירת עסקה חריגה, הסלמת אירוע אבטחת מידע, אישור חיוב או שינוי מחיר חייבים להישען על כללים מפורשים, שכבות אימות, מדדי סף ומנגנוני עקיפה. במונחים ארגוניים, הסוכן יכול לפרש, לנסח, להציע ולתזמן, אבל שכבת המדיניות צריכה להחליט מה מותר ומה חסום.

כאשר אנו מלווים חברות בהקמת תהליכי אוטומציה מרובי סוכנים, הפער חוזר שוב ושוב. העובדים מתלהבים מהגמישות, ההנהלה רוצה החזר השקעה מהיר, ומערכות המידע נדרשות להפוך בהדרגה למחלקת משאבי אנוש של סוכנים דיגיטליים. המשמעות היא לא רק לבנות סוכן, אלא לנהל זהות, הרשאות, זיכרון, כלי פעולה, ניטור, גרסאות, תיעוד ובדיקות רגרסיה. כאן נדרשים ידע עמוק בבינה מלאכותית, הבנה עסקית וניסיון תפעולי, כי יישום AI אינו פרויקט טכני בלבד.

סיכוני AI בבדיקות זולות ובסימולטורים

בעיה נוספת שעלתה בניסוי היא איכות הבדיקות. סימולטור זול שמחקה סוכן בעזרת כללי אצבע עשוי לאשר פתרון שמתפרק מול מודלים חיים. אם סביבת הבדיקה מכנית והסוכן האמיתי פרשני, הצלחה בבדיקה אינה הוכחה אלא אות אזהרה. בארגון רציני צריך להריץ בדיקות מול כמה משפחות מודלים, כמה פרומפטים, כמה מצבי עומס וכמה אוכלוסיות סוכנים, כולל תרחישי קצה שבהם המודל מבין את הכוונה אך בוחר פעולה לא רצויה.

יישום נכון מתחיל בהפרדה ברורה בין שכבת ההתנהגות לשכבת הבקרה. ראשית, יש למפות אילו פעולות הן המלצה בלבד ואילו פעולות משנות כסף, מידע, שירות או סיכון משפטי. שנית, יש להגדיר אדם בלולאה רק בנקודות שבהן הערך שלו גבוה, כך שמנהל אחד יוכל לפקח על מאות תהליכים ולא להפוך לצוואר בקבוק. שלישית, יש לבנות לוח מחוונים שמודד שיעור חריגות, זמן התאוששות, עלות פעולה, שיעור הסלמות ואיכות החלטה לאורך זמן.

עמדה ברורה נדרשת כאן: התנהגות מתהווה היא מקור הערך של סוכני AI, אבל היא אינה אסטרטגיית שליטה. התנהגות חכמה צריכה לפעול בתוך מסגרת ניהול חכמה יותר. ארגון שיבנה תשתית פנימית להקמה, בדיקה וניהול של סוכנים ירוויח התייעלות תפעולית אמיתית בלי להמר על קסם סטטיסטי. היתרון התחרותי לא יהיה אצל מי שמדגים סוכן מרשים, אלא אצל מי שיודע להפעיל אלפי פעולות סוכן בצורה יציבה, מדידה ובטוחה.