חיזוי נטישה הוא החלטת תמחור ולא רק מודל AI
ארגונים רבים משקיעים במודלי חיזוי נטישה כדי להגן על הכנסות חוזרות, אך דווקא רגע ההחלטה הקטן ביותר עלול להיות היקר ביותר. המודל מחזיר הסתברות, והעסק צריך להחליט ממתי הסתברות הופכת לשיחת שירות, הנחה, הצעת ערך או התעלמות. כאן נופלת הטעות: סף ברירת מחדל של 0.5 נראה טכני, אבל בפועל הוא קובע כמה כסף הארגון מוכן להפסיד על לקוח שיעזוב.
חיזוי נטישה חייב להימדד לפי כסף ולא רק לפי AUC
ניתוח סביב מאגר IBM Telco Customer Churn ממחיש פער שמופיע גם בארגונים בוגרים: מדדי דיוק, F1 ו-AUC יכולים להיראות טוב, בזמן שהחלטת ההפעלה מפסידה כסף. לקוח עם הסתברות נטישה של 40 אחוז לא נעלם רק מפני שהסף הוא 0.5. אם עלות רכישת לקוח חדש היא מאות דולרים, ואם טיפול שימור עולה עשרות דולרים, פספוס נטישה יכול להיות יקר פי 10 או פי 13 מטיפול מיותר. לכן מטריצת בלבול בלי עלות עסקית היא תמונה חלקית מאוד.
כלכלת יחידה משנה את סף ההחלטה במודלי ML
כאשר בונים מודל ML לשימור לקוחות, השאלה הראשונה אינה איזה אלגוריתם ניצח, אלא מה המחיר של כל טעות. טעות False Negative כוללת אובדן הכנסה עתידית, עלות גיוס לקוח חלופי ולעיתים גם נזק למותג. טעות False Positive כוללת לרוב עלות קופון, שיחה או טיפול שירותי. ברגע שהיחס בין הטעויות אינו סימטרי, סף של 0.5 הוא הנחה עסקית מסוכנת ולא כלל מדעי. הדרך הנכונה היא לבנות Profit Curve, לסרוק ספים, ולבחור את הנקודה שבה הרווח הצפוי או החיסכון הצפוי מקסימליים.
גם חישוב LTV דורש יותר מממוצע חודשי כפול משך חיים משוער. אנליזת הישרדות כמו Kaplan-Meier מאפשרת להעריך את ההסתברות של לקוח להישאר פעיל בכל נקודת זמן, ולחשב מתי הוא באמת מחזיר את עלות הרכישה. לקוחות בחוזה שנתי, לקוחות במסלול חודשי ולקוחות עם חיוב גבוה אינם מתנהגים באותו אופן. לכן סף אחד לכל האוכלוסייה עלול להחמיץ את המקומות שבהם שימור מייצר ערך אמיתי.
כיול הסתברויות הוא תנאי ליישום AI אחראי
כאשר צוות דאטה מאזן מחלקות עם SMOTE או מאמן מודל על מדגם שאינו משקף את שיעור הנטישה האמיתי, ההסתברויות עלולות להיות לא מכוילות. המשמעות פשוטה: ציון 0.07 אינו בהכרח שבעה אחוזי סיכון עסקי. לפני שמחברים מודל כזה לקמפיין שימור, צריך לבצע כיול הסתברויות, בדיקת Calibration Curve, וסריקה אמפירית של ספים מול עלויות אמתיות. במקרים רבים נכון להפעיל ספים שונים לפי סגמנט, ערוץ, ותק, רווחיות או מוצר.
כאן בדיוק נדרשים ניסיון עסקי, השכלה רלוונטית והבנה עמוקה של AI, ולא רק יכולת להריץ מחברת ולדווח על F1. הטמעת AI בארגון אינה עניין טכני בלבד. היא דורשת אדם בלולאה במקומות הנכונים: מנהל שמאשר מדיניות ספים, צוות שיווק שמגדיר עלויות התערבות, פיננסים שמתקפים LTV, ודאטה שמנטר Drift וכיול לאורך זמן. המטרה אינה שאדם יאשר כל פעולה, אלא שאדם אחד יוכל לפקח על מאות החלטות אוטומטיות באמצעות בקרה, חריגים ודשבורדים.
העמדה שלנו ברורה: מודל חיזוי נטישה שלא מחובר לכלכלת יחידה הוא מערכת יקרה בתחפושת של חדשנות. לפני פרודקשן, מנהלים צריכים לדרוש שלושה נכסים: עקומת רווח לפי סף, חישוב LTV מבוסס התנהגות ולא ממוצעים, ותוכנית ניטור שמזהה שינוי באוכלוסייה ובביצועי המודל. ארגון שיעשה זאת יגלה שלפעמים מודל מעט פחות מרשים במדדים סטטיסטיים מייצר יותר כסף, מפני שהוא מקבל החלטות עסקיות נכונות יותר.
