ניהול סוכנים בארגון: חקר ביצועים הופך את סוכני הבינה המלאכותית למנוע ROI

ארגונים רבים כבר עברו משלב ההתנסות בסוכני בינה מלאכותית לשלב שבו עשרות תהליכים עסקיים נשענים עליהם בפועל. הבעיה מתחילה כאשר כל יחידה עסקית בונה סוכן אחר, משתמשת במודל שפה אחר, צורכת טוקנים בלי מדידה אחידה ומתקשה להסביר מהו הערך הכלכלי שנוצר. ברגע שסוכנים הופכים למשאב תפעולי, הם צריכים להיות מנוהלים כמו כוח אדם, שרשרת אספקה או תשתית ענן.

ניהול סוכנים מתחיל במודל החלטה ולא בפרומפט

מאמר חדש של דסטין גונג ב-Towards Data Science מציג זווית חשובה במיוחד לשוק הארגוני. במקום לראות סוכני AI רק כאתגר של הנדסת פרומפטים, הוא מציע להתייחס אליהם כאל בעיית חקר ביצועים. כלומר, להגדיר משתני החלטה, אילוצי תקציב, אילוצי קיבולת ופונקציית מטרה שמודדת ערך עסקי. זו נקודה קריטית, מפני שהשאלה אינה רק איזה סוכן יודע לענות יפה, אלא איזה שילוב סוכנים מייצר תפוקה גבוהה בעלות נשלטת וברמת סיכון סבירה.

גונג מדגים ארבעה דפוסי אופטימיזציה קלאסיים: כיסוי קבוצות, השמה, תרמיל וזרימת רשת. במודל כיסוי קבוצות נבחרים הסוכנים המינימליים שמכסים את כלל הכישורים הדרושים. בדוגמה שהוצגה, ארבעה סוכנים כיסו את כלל היכולות בעלות של 80 אלף דולר. במודל השמה, התאמה אופטימלית בין סוכנים לפרויקטים שיפרה את ציון ההתאמה מ-63.16 ל-77, כלומר שיפור של כ-21.9%. אלו לא רק מספרים יפים, אלא תזכורת לכך שהקצאה אינטואיטיבית של סוכנים עלולה להיות יקרה מאוד.

כלכלת טוקנים מחייבת מדידה של עלות, קיבולת וערך

מודל התרמיל רלוונטי במיוחד למנהלים שמנסים לשלוט בתקציבי שימוש חודשיים. כאשר התקציב מוגבל ל-4,000 דולר, ניתן לבחור סל סוכנים שממקסם תפוקה במסגרת ההוצאה. בדוגמה, הסל האופטימלי הפיק 215 מיליון טוקנים ושיפר את התפוקה בכ-41.8% מול בחירות אקראיות. המשמעות הארגונית ברורה: כלכלת טוקנים אינה סעיף טכני בענן, אלא מנגנון ניהולי שמחבר שימוש, עלות, איכות ותעדוף עסקי.

במערכות מרובות סוכנים התמונה מורכבת עוד יותר. משימה אחת עשויה לעבור דרך סוכן איסוף מידע, סוכן כתיבה, סוכן בדיקה, כלי קוד ומנגנון אישור אנושי. בעיית זרימת רשת מאפשרת לתכנן כיצד 12 אלף בקשות חודשיות ינותבו בין סוכנים, רכזות ומחלקות תחת מגבלות קיבולת. בדוגמה שהוצגה, העלות ירדה לכ-5,630 דולר בחודש, חיסכון ממוצע של כ-33%. עבור ארגון גדול, זה ההבדל בין ניסוי יקר לבין תשתית תפעולית שאפשר להרחיב בביטחון.

התייעלות תפעולית בסוכני AI דורשת אדם בלולאה חכמה

כאשר מלווים ארגונים בהטמעת סוכנים, מתברר שוב ושוב שבינה מלאכותית אינה עניין טכני בלבד. נדרש ידע עמוק בתהליך העסקי, יכולת למדל החלטות, הבנה של סיכוני מידע וניסיון ניהולי. אדם בלולאה נשאר רכיב קריטי, אך אסור להפוך אותו לצוואר בקבוק. המטרה היא שמנהל או מומחה שבעבר פיקח על תהליך אחד, יוכל לפקח על מאות תהליכים באמצעות חריגות, מדדי איכות, דגימות בקרה וגבולות סמכות מוגדרים.

לכן ארגון שרוצה להפיק ROI מסוכני AI צריך להתחיל ממפת יכולות, קטלוג סוכנים, מדדי עלות לטוקן, מדדי הצלחה עסקיים ומנגנון אופטימיזציה שמחליט איזה סוכן מופעל, מתי, עבור איזו משימה ובאיזו רמת בקרה. מחלקות מערכות מידע יתקרבו יותר ויותר לתפקיד של משאבי אנוש עבור סוכנים: גיוס, הכשרה, הקצאה, ניטור והוצאה משימוש. מי שינהל את הסוכנים כך יקטין עלויות, ישפר איכות ויבנה יתרון תפעולי שקשה להעתיק.