כלכלת טוקנים הופכת למדד ניהולי קריטי בארגוני AI
ארגונים רבים נכנסו לשלב שבו השאלה אינה אם להשתמש ב-AI, אלא איך למנוע ממנו להפוך למרכז עלות בלתי נשלט. אחרי שנתיים של התלהבות מוצדקת מכלי שפה, סוכנים אוטונומיים וכלי פיתוח חכמים, מתברר כי שימוש רחב ללא ארכיטקטורה כלכלית מייצר בעיה ניהולית אמיתית: יותר אוטומציה, יותר קריאות למודל, יותר טוקנים, ולעיתים פחות ערך עסקי נטו.
כלכלת טוקנים משנה את שיחת ההנהלה על AI
חברות Microsoft, Meta ו-Amazon החלו לצמצם או לבחון מחדש שימוש פנימי בכלי AI מסוימים, לאחר שעלויות הטוקנים גדלו מעבר לתחזיות. חברת Microsoft, למשל, בוחנת מעבר רחב יותר מכלי Claude Code של Anthropic אל Copilot CLI הפנימי. הסיפור אינו רק תחרות בין ספקים. הסיפור הוא מעבר משלב אימוץ לשלב משילות, שבו כל פעולה של מודל שפה צריכה להצדיק את עצמה כלכלית.
הבעיה מתחדדת כאשר עוברים מצ'אט נקודתי לסוכני AI. משימה אגנטית עשויה לכלול תכנון, חיפוש, קריאת קבצים, כתיבת קוד, בדיקות, תיקונים ולולאות שיפור. כל צעד כזה צורך קלט, פלט והקשר מצטבר. במקרי קצה, צריכת הטוקנים יכולה להיות גבוהה פי מאות ואף פי אלף משאלה רגילה למודל שפה. לכן תהליך שנראה זול בניסוי קצר עלול להפוך ליקר מאוד כאשר מפעילים אותו על אלפי עובדים או מיליוני פעולות.
ניהול סוכנים דורש תכנון ולא ספירת שימושים
תופעת tokenmaxxing ממחישה את הטעות הניהולית. כאשר ארגון מודד עובדים לפי היקף שימוש ב-AI, הוא מעודד צריכה במקום תפוקה. עובד יכול לשלוח יותר פרומפטים, להריץ יותר סוכנים ולצרוך יותר טוקנים, בלי לשפר הכנסות, איכות, זמן מחזור או שביעות רצון לקוח. זהו מדד שקל למדוד אך מסוכן לנהל לפיו.
ג'ונתן קוזנמקו, חוקר ישראלי העוסק במודלי שפה וקבלת החלטות, מצביע בדיוק על הנקודה הקריטית: מדד צריכת טוקנים אינו מדד טוב, ולעיתים הוא מדד מזיק. הרחבה מעשית של הטיעון היא פשוטה. תהליך איכותי לא חייב לתת למודל לחשוב על הכול. חלקים דטרמיניסטיים, כמו שליפת נתונים, בדיקת הרשאות, חישוב מחירים, ולידציה של פורמט או הפעלת כלל עסקי, צריכים להתבצע בקוד, במנוע חוקים או באוטומציה רגילה. המודל צריך להיכנס רק במקום שבו נדרש שיקול דעת לא דטרמיניסטי, כמו ניסוח, סיווג מורכב, תיעדוף חריגים או קבלת החלטה תחת אי ודאות.
סוכני AI יעילים משלבים אדם בלולאה ותקציב בלולאה
יישום נכון של AI בארגון אינו עניין טכני בלבד. הוא דורש הבנה עסקית, ניסיון תפעולי, ידע במודלי שפה ותכנון תהליכי. כאשר אנו מלווים חברות בהקמת סוכנים, נקודת הפתיחה אינה בחירת המודל אלא מיפוי החלטות: איפה נדרש מודל, איפה נדרש קוד, איפה צריך אדם בלולאה, ואיפה חייבים לעצור את הסוכן לפני שהוא מבזבז תקציב. אדם בלולאה חשוב, אבל המטרה אינה להצמיד אדם לכל פעולה. המטרה היא לאפשר למנהל או מומחה לפקח על מאות תהליכים באמצעות חריגים, מדדי אמון והתראות.
כל ארגון שמפעיל כלי Claude, Copilot, OpenAI, N8N או Copilot Studio צריך להגדיר עלות מותרת לתהליך, מספר צעדים מרבי לסוכן, זיכרון הקשר רלוונטי בלבד, מדידת ערך עסקי מול טוקנים, ומנגנון כיבוי אוטומטי כאשר פעולה חורגת מתוחלת הערך שלה. בחלק מהמקרים, Claude Code ו-Claude ככלי רוחב מספקים יכולת ביצוע גבוהה מאוד. בחלק אחר, תשתית פנימית של Microsoft תהיה עדיפה מטעמי אבטחת מידע, אינטגרציה ועלות. הבחירה הנכונה אינה אידאולוגית, היא ארכיטקטונית וכלכלית.
מנהלים צריכים להפסיק לשאול כמה AI הארגון צורך, ולהתחיל לשאול כמה ערך נוצר לכל אלף טוקנים. זהו המעבר מבאזז לניהול. ארגון שיבנה יכולת פנימית לניהול סוכני AI, עם אוריינות עובדים מצד אחד ותשתית סוכנים מבוקרת מצד שני, ירוויח התייעלות תפעולית אמיתית. ארגון שימדוד התלהבות במקום תפוקה יגלה שפרדוקס ג'בונס הגיע גם לחדר השרתים שלו.
