PaTH Attention במודלי שפה גדולים: פריצת דרך בהבנת טקסטים ארוכים והשלכות לארגונים

חוקרי אוניברסיטת MIT ומעבדת MIT IBM Watson AI Lab מציגים מנגנון מיקום חדש בשם PaTH Attention, שמטרתו לשפר את יכולת ההבנה וההיגיון של מודלי שפה גדולים בטקסטים ארוכים. השיפור מכוון במיוחד למעקב אחרי שינויי מצב והקשרים לוגיים לאורך מסמכים גדולים, תוך יעילות חישובית שמאפשרת הרצה מעשית על GPU. המשמעות הארגונית ברורה, יכולות LLM הופכות מדיבור כללי על מסמכים ליכולת עבודה אמינה יותר עם תהליכים עתירי מסמכים, שינויי גרסאות ותיעוד מתגלגל.

מודלי שפה גדולים ו PaTH Attention: מה השתנה בקידוד המיקום

חברות שמטמיעות מודלי שפה בתוך מערכות ליבה מכירות את נקודת התורפה, ככל שהמסמך ארוך יותר כך גדלה הסבירות שהמודל יאבד רצף, יתבלבל בין גרסאות, או יפספס שינוי קטן שמייצר טעות גדולה. הטרנספורמרים נשענים על מנגנון תשומת לב, אבל ללא מידע על סדר ומיקום המילים קשה למודל לנהל רצפים מורכבים לאורך זמן. השיטה הנפוצה כיום לקידוד מיקום, RoPE, מתמקדת במרחק היחסי בין טוקנים, אבל מתעלמת מהעובדה שהמשמעות בין שתי נקודות בטקסט אינה רק פונקציה של מרחק אלא גם של התוכן שביניהן.

חוקרי MIT מציעים גישה אחרת: PaTH Attention מתייחס לטקסט כאל מסלול של טרנספורמציות קטנות תלויות נתונים, המבוססות על רפלקציות Householder. כל טוקן בדרך מתפקד כמו שינוי קטן בכיוון, כך שהצטברות השינויים מייצרת זיכרון עשיר יותר של האופן שבו המשמעות והמצב מתפתחים בין שתי נקודות במסמך. הבידול המהותי הוא שקידוד המיקום הופך מותאם תוכן, ולכן מאפשר מעקב טוב יותר אחרי מצבים כמו ערכים בקוד, סטטוס של ישות בתהליך, או הוראות שמשתנות לאורך מסמך.

חוקרי המעבדה פיתחו גם אלגוריתם חישובי יעיל שמפרק את החישוב המצטבר לצעדים קטנים המתאימים ל GPU, כדי לשמור על מדרגיות. בניסויים על משימות סינתטיות וריאליות, כולל משימות היגיון ובנצ'מרקים של הקשר ארוך, המנגנון הראה שיפור במדד perplexity וביצועים עדיפים גם על שיטות מתחרות, כולל משימות שהמודלים לא אומנו עליהן ישירות. בהתאם לניסיון שלנו בשטח, יתרון כזה מתורגם לרוב להפחתת שיעור טעויות בתרחישי הפקה שבהם המודל נדרש להישאר עקבי בין פרקים שונים של מסמך או בין חלקים רחוקים של תהליך.

איפה זה פוגש תהליכים עסקיים, מרצף מסמכים לרצף החלטות

ארגונים גדולים מפעילים שרשראות מסמכים ארוכות שבהן שינוי קטן בתחילת התהליך משנה החלטות בהמשך. דוגמה מרכזית היא תהליך אשראי תאגידי בבנק או בחברת מימון: מסמכי בקשה, דוחות כספיים, הערכות סיכון, תכתובות, ונספחים משפטיים נפרסים לעיתים לעשרות אלפי טוקנים. מערכת LLM עם יכולת מעקב מצב משופרת יכולה לזהות שהתחייבות חדשה או חריגה בקובננטים הוזכרה מוקדם יותר, ולהשפיע בהתאם על חישובי סיכון, על תנאי הצעה ועל ניסוח מסמכי אישור.

חברות ביטוח יכולות להרוויח מיכולת משופרת למעקב אחר מצב בתביעות מורכבות. מערכת שמנתחת תיק תביעה ארוך הכולל מסמכים רפואיים, חוות דעת, שיחות ושינויים בגרסאות יכולה לעקוב אחר רצף כרונולוגי של אירועים ולזהות סתירות, השלמות חסרות והשלכות על כיסוי. ארגונים מדווחים בדרך כלל שמוקדי חיכוך בתביעות נובעים מהעברת הקשר בין צוותים ומהבנה חלקית של היסטוריית התיק, ולכן שיפור הבנה לטקסטים ארוכים יכול לתמוך בקיצור זמני טיפול ובהפחתת תשלומים שגויים.

חברות תעשייה והייטק יוכלו ליישם זאת בניתוח מפרטים הנדסיים ותיעוד איכות. צוותי הנדסה מנהלים מסמכי דרישות, שינויי ECO, פרוטוקולי בדיקה ודוחות תקלה שמתחברים לאותה ישות מוצר לאורך חודשים. מודל שמסוגל לעקוב אחרי שינויי מצב לאורך מסמך גדול יכול לסמן בזמן אמת שהחלטה חדשה סותרת דרישה מוקדמת, או שהוראת עבודה חדשה מחייבת עדכון מסמכי איכות. תוצאה אפשרית היא הפחתת עלויות אי איכות, צמצום ריוורק, והאצה של שחרור גרסאות.

מחלקות משפטיות ורכש יכולות להשתמש ביכולת זו לניתוח חוזים ארוכים ומרובי נספחים. מערכת LLM שמבינה התפתחות מצב תוכל לעקוב אחרי סעיפים שמשתנים בין טיוטות, לזהות השפעה מצטברת של תיקונים לאורך זמן, ולהצביע על נקודות שבהן התחייבות מסוימת הוחמרה בלי ששמה לב לכך. מהניסיון שלנו בשטח, ערך גבוה במיוחד נוצר כאשר המודל לא רק מסכם חוזה, אלא מזהה תלות בין סעיף מוקדם לנספח מאוחר שמעדכן אותו בפועל.

שילוב עם שכחה סלקטיבית ומה זה אומר לתפעול והוצאות

צוות המחקר שילב את PaTH עם מנגנון FoX שמדמה שכחה סלקטיבית של מידע ישן או לא רלוונטי. ארגונים שמפעילים צ'ט ארגוני על בסיס מאגרי ידע מכירים את הבעיה ההפוכה ל אובדן הקשר, עודף הקשר שמבלבל את המודל ומגדיל עלויות חישוב. שילוב של מודעות תוכן יחד עם דיכוי מידע פחות רלוונטי יכול לשפר דיוק ולהפחית עלויות הרצה, בעיקר כאשר משלבים הקשר ארוך עם חיפוש מסמכים וכללי הרשאות.

מבחינה פיננסית, היכולת לעבוד עם הקשר ארוך בלי להגדיל באופן לא נשלט את העלות לכל שאילתה היא קריטית ל ROI. חברות שמפעילות מערכות LLM בקנה מידה גדול רואות לעיתים עלויות תפעול גבוהות כאשר כל אינטראקציה גוררת חלון טקסט גדול. גישה שמאפשרת יותר אקספרסיביות תוך שמירה על יעילות GPU עשויה לתמוך בהרחבת שימושים לתהליכים קריטיים, ולא רק לפיילוטים נקודתיים.

המלצה פרקטית ליישום בארגון, איך לתרגם את המחקר לפיילוט מדיד

ארגונים יכולים לבנות פיילוט קצר שמכוון בדיוק לנקודת הערך של מעקב מצב במסמך ארוך. שלב ראשון כדאי לבחור תהליך שבו קיימת ישות שמתעדכנת לאורך זמן, למשל תיק תביעה, לקוח אשראי, הזמנת רכש, או תקלה הנדסית. שלב שני כדאי להגדיר שלוש בדיקות מדידות, עקביות בין גרסאות, איתור שינויי מצב שמוסתרים במסמך, ויכולת להסביר את שרשרת ההחלטה באמצעות ציטוטים ממקטעים רחוקים. שלב שלישי כדאי להשוות בין מודל בסיסי עם קידוד מיקום סטנדרטי לבין חלופה שמדגישה מעקב מצב, ולמדוד ירידה בשיעור טעויות אנוש בבקרת איכות, זמן טיפול ממוצע, ועלות לכל מסמך מעובד.

גישה זו מאפשרת לבנות הצדקה עסקית גם לפני שינוי ארכיטקטורות ליבה. מדדים כמו ירידה של כמה אחוזים בשיעור תיקונים חוזרים, קיצור זמן סקירה משפטית, או צמצום הסלמות במוקד שירות יכולים להיתרגם במהירות לחיסכון תפעולי. בהתאם לסקירת ספרות שעשינו, ארגונים שמצליחים להפחית שגיאות בהקשר ארוך משפרים לא רק דיוק אלא גם אמון משתמשים, וזה תנאי להפיכת כלי LLM ממנוע ניסויים לכלי עבודה יומיומי.

חברות שמעוניינות להקדים מתחרים יכולות כבר עכשיו למפות תהליכים שבהם כשל הקשר ארוך גורם לנזקים, לבחור מאגר מסמכים מייצג, ולהריץ הערכת היתכנות עם תרחישים שמדמים שינוי מצב לאורך זמן. ארגונים שיבנו יכולת כזו סביב מסמכים פיננסיים, משפטיים ותפעוליים ייהנו מעקביות טובה יותר, ניטור סיכונים מתקדם יותר, ויכולת להרחיב אוטומציה לתהליכים שמרבית החברות עדיין מתקשות לגעת בהם.