רגרסיה לוגיסטית מול מודלים מורכבים: שיעור עסקי בבחירת AI נכון
מנהלים נוטים לבחון פרויקטי AI דרך השאלה איזה מודל חזק יותר, אבל בשטח השאלה החשובה יותר היא איזה מודל נכון יותר לבעיה, לדאטה ולסיכון העסקי. הניסוי האחרון בחיזוי 358 משחקים בינלאומיים ממחיש זאת היטב: רגרסיה לוגיסטית פשוטה ניצחה את XGBoost במדד log-loss, למרות שמדובר באלגוריתם שנחשב חזק בהרבה בתחרויות ובמערכות עתירות דאטה. כאשר הדאטה קטן, מעט התכונות אינן מספרות את כל הסיפור, והיעד עצמו רועש, מורכבות יכולה להפוך מיתרון לחוב.
רגרסיה לוגיסטית כבחירה עסקית ולא כפשרה טכנית
בניסוי נבחנו חמישה מסווגים למשימה של חיזוי ניצחון ביתי, תיקו או ניצחון חוץ. הנתונים כללו שלוש תכונות מרכזיות בלבד: פערי חוזק בין קבוצות, חוזק משותף וסימון לשלב נוקאאוט. התוצאה החשובה אינה רק מי צדק יותר, אלא מי נתן הסתברויות אמינות יותר. זהו בדיוק ההבדל בין מודל שמייצר תחושת ביטחון לבין מודל שמאפשר קבלת החלטות אחראית.
הנקודה הזו קריטית גם מחוץ לעולם הספורט. דיוק לבדו יכול להטעות בפרויקטים של נטישת לקוחות, אשראי, תחזית ביקושים או תעדוף לידים. מדד כמו log-loss מעניש מודל שבטוח מדי בטעות שלו, ולכן הוא מתאים במיוחד למצבים שבהם ההחלטה העסקית נשענת על הסתברות ולא רק על סיווג. כאשר מערכת ממליצה לתת הנחה, לאשר אשראי או להעלות טיפול תפעולי לדרג בכיר, הסתברות לא מכוילת עלולה לייצר עלות ישירה.
כיול הסתברויות חשוב יותר ממוניטין של מודלים
כיול הסתברויות הוא אחד המקומות שבהם ניסיון מקצועי עמוק עושה הבדל. מודל יכול להיראות מרשים במצגת ועדיין להיות מסוכן אם הוא מעניק 80 אחוז ביטחון לאירועים שקורים בפועל רק במחצית מהמקרים. לעומת זאת, מודל ליניארי פשוט עשוי להתאים טוב יותר כאשר הקשר בין התכונות לתוצאה הוא מונוטוני וחלק, למשל ככל שפער החוזק גדל כך עולה סיכוי הניצחון. זו אינה מגבלה טכנית, זו הטיית מודל נכונה.
בארגונים אנו רואים את אותה טעות חוזרת: מתחילים ממודל מורכב כי הוא נתפס מתקדם יותר, ורק אחר כך מגלים שהדאטה לא תומך בו. מודלים כמו XGBoost ורשתות נוירונים מצוינים כאשר יש הרבה דוגמאות, הרבה תכונות ואות יציב יחסית. רגרסיה לוגיסטית, לעומת זאת, יכולה להיות פתרון בוגר בפרויקטים קטנים, במיוחד כאשר נדרשות שקיפות, הסבריות, ניטור פשוט ועלות תחזוקה נמוכה.
מודלים בארגון צריכים להיבחר לפי דאטה, מדד וסיכון
כאשר בונים יכולת AI ארגונית, נכון להתחיל מבייסליין פשוט, למדוד אותו במדד שמתאים להחלטה העסקית, ואז לבדוק כיול באמצעות עקומות אמינות או Brier score. השלב הבא הוא להפעיל מודל מורכב יותר רק אם הוא משפר ביצועים על סט בדיקה אמיתי ולא רק על נתוני אימון. לאחר מכן כדאי לבחון עקומת למידה: אם תוספת דאטה משפרת את המודל המורכב בעקביות, יש הצדקה להשקיע בו. רק כך מורכבות הופכת לנכס ולא לרעש יקר.
אדם בלולאה נשאר רכיב קריטי, אבל לא כדי לאשר כל החלטה ידנית. במערכות טובות, האדם מפקח על חריגים, בודק אזורי אי ודאות ומעדכן מדיניות עסקית. היעד הוא שמנהל שבעבר פיקח על תהליך אחד יוכל לפקח על מאות החלטות מבוססות מודל, עם התראות נכונות, מדדים נכונים ומשמעת מקצועית. מדיניות כזו דורשת אוריינות AI, הבנה עסקית וניסיון יישומי, ולא רק יכולת טכנית להריץ אלגוריתם.
הבחירה במודל אינה תחרות יוקרה. מנהל שרוצה תוצאה יציבה צריך לדרוש שלושה דברים לפני אימוץ פתרון: השוואה לבייסליין פשוט, מדד הסתברותי שמתאים לסיכון, ותוכנית ניטור כיול לאחר העלייה לאוויר. הכלל המעשי ברור: פשטות שאפשר למדוד, להסביר ולתחזק עדיפה על מורכבות שאינה מכוילת. בארגון רציני, מודל נכון הוא לא המודל שנשמע הכי מתקדם, אלא זה שמקבל החלטות אמינות בתנאי המציאות.
