איך מודלים חושבים: J-lens חושף מנגנונים פנימיים ומחדד את הסיכון העסקי

מודלי שפה אינם חושבים כפי שבני אדם חושבים. הם מעבדים הקשר באמצעות שכבות של ייצוגים מספריים, מעדכנים קשרים בין מושגים ומייצרים פלט על בסיס הסתברויות. ובכל זאת, בתוך החישוב נוצרים מבנים שמייצגים שפה, ישויות, תכונות, מטרות ושלבי פתרון. השאלה המקצועית החשובה אינה אם יש למודל מחשבות, אלא אילו ייצוגים משפיעים בפועל על התשובה וכיצד אפשר לבדוק אותם.

J-lens, קיצור של Jacobian Lens, מציע תשובה חלקית אך משמעותית. במקום לנסות לקרוא מילה מתוך שכבת ביניים, הוא מעריך כיצד שינוי בייצוג פנימי עשוי להשפיע על הפלט לאחר שיעבור דרך יתר שכבות המודל. זהו מעבר מפענוח של אסוציאציה לבחינה של השפעה חישובית.

עבור הנהלה, אנשי סיכון וצוותי מערכות מידע, ההבחנה הזו חשובה. מערכת יכולה להפיק תשובה נכונה מסיבה שגויה, להשתמש בקיצור דרך בעייתי או להסתמך על מושג שלא רצינו שיהיה חלק מההחלטה. בדיקת הפלט לבדה לא תמיד תגלה זאת.

מה J-lens בודק בפועל

בכל שכבה של LLM נמצא וקטור הפעלה המייצג את המצב הנוכחי של החישוב. הבעיה היא שהווקטור הזה אינו כתוב בשפה טבעית. הוא כולל ממדים רבים, קשרים מבוזרים ותכונות החופפות זו לזו.

כלים מוקדמים כגון Logit Lens מקרינים הפעלה פנימית ישירות אל מנגנון הפלט של המודל. כך אפשר לשאול איזו מילה הייתה מתקבלת אילו המודל היה צריך לענות באותה שכבה. זו בדיקה שימושית, אך היא מדלגת על כל העיבוד שיתרחש בשכבות הבאות.

J-lens בוחן את הנגזרת המקומית של הפלט העתידי ביחס למצב הפנימי. במונחים מתמטיים, ה-Jacobian מתאר כיצד שינויים קטנים ברכיבי הקלט של פונקציה משפיעים על רכיבי הפלט שלה. כאן הוא משמש כקירוב ליניארי למסלול שעוד נותר למודל לעבור.

המילה מקומי קריטית. J-lens אינו מספק תיעוד מלא של כל הסיבות לתשובה, ואינו הופך רשת עצבית מורכבת למערכת חוקים שקופה. הוא מודד רגישות סביב מצב חישובי מסוים. שינוי גדול, הקשר אחר או שרשרת ארוכה יותר של פעולות עלולים לייצר דינמיקה שונה.

ההבדל בין מידע שהמודל משתמש בו למידע שהוא יכול לדווח עליו

אחת התובנות המעניינות בפרשנות מכניסטית היא שמידע אינו בהכרח זמין לכל מנגנוני המודל באותה צורה. ייתכן שמסלול אחד ישתמש בו באופן אוטומטי, בעוד מסלול אחר יהפוך אותו לזמין לדיווח מפורש או להסקה גמישה.

בניסוי אופייני, מודל מעבד טקסט בספרדית. כאשר משנים ייצוג פנימי המזוהה עם ספרדית לייצוג המזוהה עם צרפתית, המודל עשוי להמשיך לכתוב בספרדית תקינה, אך לבחור בסופר צרפתי כאשר הוא מתבקש לציין סופר מוכר מהשפה. יכולת הפקת השפה לא השתנתה באותה דרך שבה השתנה המידע הזמין לתשובה המפורשת.

דוגמה נוספת היא החלפה בין ייצוג של עכביש לייצוג של נמלה. אם בעקבות ההתערבות משתנה גם מספר הרגליים בתשובה, לא מדובר רק בתווית שחוקר הצמיד בדיעבד להפעלה. הייצוג השתתף בחישוב באופן ששינה את התוצאה.

מכאן מגיע המושג J-Space: תת-מרחב דליל יחסית של כיוונים סמנטיים בעלי השפעה על מה שהמודל מסוגל להמשיך ולחשב. זה אינו חדר מחשבות פנימי, אלא דרך לתאר חלק מהמבנה החישובי שניתן למפות ולהפעיל עליו ניסויים.

מבחן רציני לפרשנות אינו רק אם החוקר הצליח לתת שם להפעלה פנימית. המבחן הוא אם התערבות מבוקרת באותה הפעלה משנה את ההתנהגות באופן שניתן לחזות.

האם מדובר בתודעה מלאכותית

לא. לפחות לא על בסיס הממצאים האלה.

היכולת להחזיק מידע זמין לדיווח, לבקרה או לזיכרון עבודה מזכירה תפיסות פונקציונליות של נגישות תודעתית. אך מכאן לא נובעת חוויה סובייקטיבית. אין בכך הוכחה שלמודל יש תחושה, נקודת מבט פנימית או חוויה של המושגים שהוא מעבד.

הבלבול נובע לעיתים מהשפה שבה אנו מתארים מערכות מורכבות. מילים כמו יודע, מתכנן או מבין הן קיצורים שימושיים לתיאור התנהגות, אך הן אינן קביעה פילוסופית או מדעית לגבי חוויה. מנהלים אינם צריכים לפתור את שאלת התודעה כדי לקבל החלטות AI טובות. הם כן צריכים לדעת אילו יכולות קיימות, באילו תנאים הן נכשלות ואיזה מנגנון בקרה מתאים לרמת הסיכון.

למה זה משנה לארגונים כבר עכשיו

פרשנות מכניסטית עדיין אינה מוצר מדף שמנהל סיכונים יכול לחבר לכל סוכן AI. עם זאת, היא משנה את הרף המקצועי. ככל שמערכות AI מקבלות אחריות על תהליכים לא דטרמיניסטיים, בדיקת תשובה בודדת כבר אינה מספיקה.

היישומים העסקיים האפשריים כוללים:

• איתור ייצוגים הקשורים להטיה אסורה בהחלטות אשראי, גיוס או תמחור.
• בדיקה אם סוכן מסתמך על הוראה זדונית שהוחדרה למסמך או למקור חיצוני.
• זיהוי מוקדם של תכנון מסוכן לפני שהוא מתורגם לפעולה בכלי ארגוני.
• השוואה בין גרסאות מודל כדי לבדוק אם עדכון שינה מנגנון ולא רק מדד פלט.
• בחינת הסתרת כוונות, עקיפת מדיניות או ניצול קיצורי דרך במשימות מורכבות.

הערך אינו מוגבל לציות. יכולת להבין אילו מושגים מפעילים התנהגות מסוימת יכולה לשפר איתור תקלות, לקצר חקירה של אירועים ולסייע לצוותים להחליט אם לתקן Prompt, מקור מידע, הרשאה, תהליך עסקי או את המודל עצמו.

שקיפות אינה תחליף לממשל AI

יש נטייה להתייחס להסבר של מודל כאל חותמת בטיחות. זו טעות. גם הסבר משכנע יכול להיות חלקי, לא יציב או מותאם לדוגמה מסוימת. בנוסף, המודל עשוי לייצר הסבר מילולי שאינו משקף את המנגנון שהוביל לתשובה.

לכן ארגון צריך להפריד בין שלוש שכבות:

• הסבר התנהגותי: מה המודל אומר שעשה.
• בדיקה אמפירית: כיצד הוא מתנהג תחת תרחישים, שינויים והתקפות.
• פרשנות מכניסטית: אילו ייצוגים ורכיבים פנימיים משתתפים בחישוב.

אף שכבה אינה מספיקה לבדה. יחד הן יכולות לייצר בסיס טוב יותר להחלטה אם מערכת מתאימה לתהליך, אילו פעולות מותר לה לבצע ומתי יש להעביר מקרה לאדם.

אדם בלולאה, אבל לא בכל פעולה

במערכות בעלות השפעה כספית, משפטית, רפואית או ביטחונית, אדם בלולאה הוא רכיב קריטי. עם זאת, אם עובד נדרש לאשר ידנית כל צעד של הסוכן, הארגון לא השיג אוטומציה אלא רק העביר את צוואר הבקבוק למסך חדש.

התכנון הנכון הוא להגדיר רמות עצמאות, ספי ביטחון ומסלולי הסלמה. העובד שביצע בעבר תהליך יחיד צריך להפוך למפקח על מאות תהליכים, להתמקד בחריגים ולקבל הקשר מספק כדי להתערב במהירות. פרשנות טובה יכולה לסייע בתעדוף החריגים, אך היא אינה מחליפה אחריות ניהולית.

1. 01

   מגדירים החלטה

   מזהים איזו החלטה המודל מקבל ומה הנזק האפשרי מטעות.

2. 02

   בונים קו בסיס

   מתעדים ביצועים, כשלים והבדלים בין קבוצות לפני ההטמעה.

3. 03

   בודקים מנגנונים

   משלבים ניסויי התערבות כאשר הכלים והגישה למודל מאפשרים זאת.

4. 04

   קובעים ספי הסלמה

   מעבירים לאדם רק מקרים חריגים, רגישים או חסרי ודאות.

5. 05

   מנטרים לאורך זמן

   בודקים שינויי מודל, מקורות מידע, הרשאות ודפוסי שימוש.

המתודולוגיה הזו אינה מתחילה בכלי. היא מתחילה בהבנת התהליך, האחריות והסיכון. רק לאחר מכן בוחרים מודל, ארכיטקטורה ושכבת ניטור.

השכלה עמוקה חשובה יותר מהדגמה מרשימה

המחקר ממחיש מדוע AI אינו תחום טכני בלבד. נדרשים בו מדעי המחשב, מתמטיקה, חקר קוגניציה, אבטחת מידע, סטטיסטיקה והבנה מקצועית של התחום שבו המערכת פועלת. לחוקרים ולאנשי יישום שמשלבים כמה דיסציפלינות יש יתרון ברור, משום שהשאלה אינה רק מה המודל מסוגל לעשות, אלא כיצד היכולת משתלבת בתוך מוסד, תהליך ואחריות אנושית.

גם לאקדמיה יש כאן תפקיד מרכזי. מוצרי AI מתחלפים במהירות, אך היכולת לקרוא מחקר, להבין מגבלות מתודולוגיות ולהבחין בין מתאם, הסבר וסיבתיות אינה טרנד. זו תשתית מקצועית.

הסיכון מורגש במיוחד בעסקים קטנים ובינוניים, שלעיתים מתקשים לסנן מומחים מטעם עצמם. הדגמה ויזואלית או רשימת Prompts אינן תחליף להשכלה רלוונטית, ניסיון יישומי והיכרות עם תהליכים עסקיים. ייעוץ שטחי עלול לייצר מערכת שנראית חכמה בפיילוט, אך נכשלת בהרשאות, באיכות נתונים, בבקרת עלויות או באחריות תפעולית.

שני מסלולים שחייבים להתקדם יחד

ארגונים צריכים לפתח אוריינות AI בקרב עובדים ובמקביל יכולת פנימית להקים ולנהל סוכנים. המסלול הראשון משפר תקשורת עם מודלים, ביקורת תוצאות ושימוש אחראי בכלים. המסלול השני מטמיע AI בתוך תהליכים קיימים, לעיתים בלי לדרוש מהעובד לשנות את שגרת העבודה בכל פעולה.

סוכנים דורשים תשתית ארגונית רצינית: זהויות, הרשאות, תצפיתיות, ניהול גרסאות, הערכות ביצועים, קטלוג כלים ומנגנוני עצירה. מחלקות מערכות מידע צפויות לתפקד במידה גוברת כמעין מחלקות משאבי אנוש של כוח עבודה דיגיטלי. הן יקלטו סוכנים, יקצו להם סמכויות, ימדדו ביצועים ויסיימו פעילות כאשר הסיכון עולה על הערך.

בחירת ספק אינה פוטרת מהיכולת הזו. Anthropic מציגה קצב חדשנות מרשים וכלים כגון Claude Code הפכו שימושיים מאוד בעבודה מקצועית, אך הטמעה רחבה של Claude מחייבת בחינה קפדנית של אבטחת מידע ומדיניות נתונים. מודלי הבסיס של OpenAI מגוונים וחזקים, ואילו Microsoft Copilot ו-Copilot Studio מציעים יתרון בסביבות הנשענות על האקוסיסטם של Microsoft. במקביל, פלטפורמות כמו n8n נכנסות גם לארגונים גדולים ומרחיבות את אפשרויות האורקסטרציה.

החלטה נכונה אינה מבוססת על נאמנות למותג. היא בוחנת התאמה לתהליך, קצב שינוי, אבטחה, יכולת הערכה, עלות תפעולית וניידות בין מודלים.

היתרון התחרותי יהיה יכולת הבדיקה

המרוץ הבא אינו רק על מודל גדול או מהיר יותר. הוא גם על היכולת לבדוק מודלים, להבין את גבולותיהם ולנהל אותם בתוך תהליכים אמיתיים. J-lens מסמן כיוון שבו ארגונים לא יסתפקו בשאלה אם המודל ענה נכון, אלא יבדקו אילו ייצוגים הפעילו את התשובה, כיצד שינוי הקשר משפיע עליה והאם ההתנהגות נשארת יציבה תחת לחץ.

אין צורך להמתין לפרשנות מושלמת. אפשר כבר היום לבנות מערכי הערכה, תרחישי תקיפה, ניטור חריגים, ספי הסלמה ובעלות ברורה על כל סוכן. כאשר כלים מכניסטיים יהפכו נגישים יותר, הם יתחברו לתשתית הזו ויעמיקו אותה.

הארגון שיפיק מכך יתרון לא יהיה זה שמכריז שהמודל חושב. זה יהיה הארגון שיודע מתי לסמוך עליו, כיצד לבדוק אותו ומתי לעצור אותו.