מודלי שפה וזיכרון עובדתי: מה מחקר Gemma מלמד ארגונים
ארגונים שמטמיעים בינה מלאכותית נתקלים שוב ושוב באותה שאלה ניהולית: האם ניתן לסמוך על מודל שפה כשהוא עונה על עובדות עסקיות. זו אינה שאלה תיאורטית. מערכת שירות שמבלבלת בין פוליסות, עוזר ידע שמצטט נהלים לא עדכניים או סוכן שמפעיל תהליך על בסיס מידע שגוי יכולים לייצר נזק תפעולי, משפטי ותדמיתי. לכן מחקר חדש על מודלי Gemma חשוב במיוחד, משום שהוא מקרב אותנו להבנה של הדרך שבה מודלי שפה מאחסנים ושולפים עובדות.
מודלי שפה אינם מסד נתונים, הם מערכת זרימה חישובית
מחקר פרשנות מכניסטית שבחן את Gemma-2B ואת Gemma-12B-IT מציע תמונה מעניינת: ידע עובדתי אינו יושב בראש קשב אחד שניתן לזהות ולתקן בקלות. בניסוי BizzaroWorld נבדקו עובדות פשוטות באמצעות טכניקת Activation Patching, שבה מחליפים הפעלות פנימיות בין הרצה תקינה להרצה משובשת ובודקים איך משתנה ההסתברות לתשובה הנכונה. זהו שינוי חשוב לעומת בדיקות דיוק רגילות, משום שהוא מחפש רמז סיבתי בתוך המודל ולא רק מודד את התוצאה החיצונית.
הממצא המרכזי הוא מעגל שליפה בשלושה שלבים. בשכבות מוקדמות ובינוניות הישות מיוצגת בזרם השיורי, כלומר בערוץ שמוביל מידע בין שכבות הטרנספורמר. לאחר מכן מנגנוני קשב מנתבים את המידע לעמדת החיזוי הסופית, אך לא דרך רכיב קסם יחיד. לבסוף, השכבות המאוחרות קוראות ייצוג שכבר התגבש קודם. המשמעות העסקית ברורה: כאשר מודל טועה בעובדה, ייתכן שהבעיה אינה רק בניסוח הפרומפט או בשכבת הפלט, אלא בייצוג פנימי שנוצר מוקדם יותר.
הזיות במודלי שפה דורשות הנדסת אמינות, לא רק פרומפטים טובים
בשטח רואים פער קבוע בין התלהבות מהירה מכלי AI לבין היכולת לבנות מערכת יציבה. פרומפט טוב יכול לשפר ביצועים, אך הוא לא מחליף ארכיטקטורה נכונה, בקרת איכות, ניטור והבנה של התהליך העסקי. תחום הבינה המלאכותית אינו עניין טכני בלבד. הוא דורש שילוב של ידע מחקרי, הבנה ניהולית וניסיון תפעולי. לכן ארגון שרוצה להפחית הזיות לא יכול להסתפק בהדרכת משתמשים או בחיבור מהיר למודל חזק. הוא צריך להגדיר איפה נמצאות העובדות הקריטיות, איך מאמתים אותן, ומתי אדם בלולאה חייב להתערב.
הנקודה הזו חשובה במיוחד במערכות ידע, חיפוש ארגוני וסוכני AI. אם כל תשובה דורשת בדיקה אנושית מלאה, לא נוצרה התייעלות אמיתית. המטרה הנכונה היא להפוך אדם שהיה אחראי על תהליך אחד למפקח על עשרות או מאות תהליכים, בעזרת מדדי סיכון, מסלולי אישור ודגימה חכמה. כאן נכנסים כלים כמו RAG, בדיקות עקביות, השוואה למקורות מאושרים וניטור חריגות. מערכות כאלה צריכות להיבנות מראש סביב אמינות, ולא להתווסף כטלאי אחרי שהפתרון כבר נכנס לייצור.
עיבוד שפה ארגוני צריך להתחיל ממיפוי ידע ותהליכים
הלקח המעשי למנהלים הוא להתחיל במיפוי שכבות הסיכון. יש להפריד בין ידע ציבורי, ידע ארגוני פנימי, נתונים משתנים בזמן אמת והחלטות שמייצרות פעולה. לכל שכבה צריך מנגנון שונה: מאגר מאומת לנהלים, RAG עם ציטוטים למסמכים, בדיקות מול מערכות ליבה לפני ביצוע פעולה, ומסלולי אסקלציה כשאמינות התשובה נמוכה. בנוסף, יש למדוד הצלחה לא רק לפי שביעות רצון משתמשים, אלא לפי שיעור תשובות מאומתות, זמן טיפול, מספר תיקונים אנושיים ושיעור טעויות קריטיות.
מחקרי פרשנות כמו זה שנעשה על Gemma מזכירים למה לאקדמיה יש תפקיד משמעותי בבשלות השוק. הם אינם מספקים מפת דרכים מיידית למערכת ארגונית, אבל הם משנים את השיח: פחות קסם, יותר הנדסה. ארגונים שיבנו יכולת פנימית להקמה וניהול של פתרונות AI, עם צוותים שמבינים גם תהליכים עסקיים וגם מגבלות מודלים, יוכלו להתקדם מהר יותר ובטוח יותר. ההמלצה ברורה: לבחור מודלים וכלים מתקדמים, אך להשקיע לא פחות בממשל נתונים, בדיקות, ניטור והכשרת מנהלים שמבינים את המשמעות האמיתית של אמינות בבינה מלאכותית.
