אחזור ידע מודע-נימוק: איך MCTS משדרג עוזרי ידע ארגוניים ומצמצם טעויות במענה

מחקר חדש מציע תובנה פרקטית למנהלים שמפעילים עוזרי ידע ארגוניים: הבעיה המרכזית אינה רק איכות המודל, אלא איכות תהליך החיפוש שמזין אותו. המחקר מציג שיטה שבה תהליך השליפה ממאגרי ידע הופך לחלק אינטגרלי מתהליך החשיבה של מודל השפה, ולא שלב מקדים טכני. התוצאה היא שיפור דיוק, הגדלת מגוון מקורות והפקת נימוק רב-שלבי, תוך הפחתת שליפות מיותרות שמובילות לתשובות משכנעות אך שגויות.

אחזור ידע מודע-נימוק: מה המחקר מגלה ולמה זה חשוב לארגונים עתירי מסמכים

המחקר Reasoning in Action: MCTS-Driven Knowledge Retrieval for Large Language Models (מאת Shuqi Liu, Bowei He, Chen Ma, Linqi Song, פורסם ב-JAIR ובגרסת arXiv) מתמקד במגבלה העסקית המוכרת של מערכות מבוססות מודלי שפה: מודל יכול לנסח טקסט היטב, אך הידע הפנימי שלו מוגבל לתקופת האימון ואינו משקף מדיניות, נהלים, חוזים או מאגרי ידע עדכניים.

בארגונים רבים הפתרון הוא שילוב מנגנון אחזור מסמכים לפני יצירת תשובה, בגישה שמכונה RAG. אולם לפי המחקר, בגישות הנפוצות השליפה היא חיצונית לתהליך החשיבה: מאחזרים קבוצה קבועה של מסמכים לפי דמיון טקסטואלי, ואז המודל מנסה להרכיב תשובה. במציאות ארגונית, זה מתבטא במענה שמסתמך על מסמך אחד ״הכי דומה״, מפספס חריגים, או מתעלם ממדיניות משלימה, מה שמייצר סיכון תפעולי, משפטי ומוניטיני.

החידוש הוא שילוב Monte Carlo Tree Search בתוך תהליך האחזור, כך שהמודל מתכנן דינמית אילו פיסות ידע לחפש ובאיזה סדר. במילים פשוטות, המערכת לא שואלת פעם אחת את מאגר הידע, אלא בונה מסלול חיפוש הדרגתי: מגדירה מונחים, מחדדת שאלות משנה, מאתרת חריגים, ואז מחברת את הכל לנימוק סופי. לאורך החיפוש המודל גם מייצר מילות מפתח לשליפה, מדרג את הרלוונטיות של התוצאות ומעריך איכות תשובה ביניים.

מה באמת חדש כאן, מעבר ל-RAG משופר

המחברים מציעים לראות את בסיס הידע כמרחב שמחולק לאזורים הקשריים. המערכת מתחילה באזור מצומצם שנגזר ממילות המפתח הראשוניות בשאלה, ואז מרחיבה או מעדנת אותו תוך כדי השיחה. כך מתקבלת שליפה שמבוססת הקשר, ולא שליפה גלובלית נאיבית. בנוסף, פונקציית התגמול של החיפוש משלבת שלושה רכיבים: אומדן איכות תשובה, רלוונטיות הידע שנשלף, ומדד מגוון שמעניש הסתמכות יתר על מקור יחיד. בעולמות עסקיים זה משמעותי כי תקלות רבות נובעות מהיצמדות למסמך אחד, כאשר המדיניות בפועל מפוזרת על פני כמה מקורות.

במבחנים על שני מערכי נתונים של דיאלוגים מרובי-פניות, השיטה השיגה שיפור דיוק של כמה נקודות אחוז לעומת RAG בסיסי. המחקר מציין שיפור טיפוסי של כ-3 עד 5 נקודות במדד F1 במערך נתונים אחד, ושיפור גדול יותר במערך שבו הידע מפוזר ורב-תחומי. מעבר למדדים, נצפתה עלייה ברלוונטיות של השליפות, גידול במגוון מקורות הידע שבהם המודל משתמש, ונימוקים ארוכים ורב-צעדיים יותר שמדמים תהליך חשיבה אנושי.

השלכות עסקיות: איפה אחזור ידע מודע-נימוק יוצר יתרון תפעולי ומפחית סיכון

המשמעות לארגונים היא שינוי בתפיסת הפתרון. במקום לשאול רק איזה מודל לבחור, נכון לשאול איך לנהל את תהליך החיפוש כך שיהיה מודע לדרך שבה עובדים פותרים בעיות. בארגונים עתירי מסמכים, לרוב השאלה העסקית דורשת איסוף ראיות ממספר מקורות, ולא חיפוש מסמך יחיד.

בפונקציות משפטיות, השיטה יכולה לתמוך במענה שמחייב שילוב סעיפים, נספחים, פסיקות פנימיות ומדיניות חריגה. בפיננסים, יש ערך לשילוב נהלי ציות, מתודולוגיות סיכונים, ומסמכי מוצר לפני מתן תשובה ללקוח או לנציג. ברפואה ותמיכה טכנית, שבהן השגיאה יקרה, היכולת לייצר מסלול חיפוש שמתחיל בהגדרות, עובר לאבחנה דיפרנציאלית או לתקלות נפוצות, ואז לחריגים, יכולה להפחית את הסבירות למענה ״בטוח מדי״ שאינו נתמך בראיות.

מבחינה כלכלית, הערך נוטה להופיע בשלושה מוקדים: **פחות זמן חיפוש אנושי** אצל מומחים, **פחות העברות טיפול** בין דרגים בגלל תשובות חלקיות, ו **הפחתת תקריות איכות וסיכון** שנובעות ממידע חסר או מהמצאת פרטים. לפי מה שאנחנו רואים בשוק ומניסיון בפרויקטים דומים, מקרים שבהם הידע מפוזר על פני מקורות רבים הם בדיוק המקומות שבהם RAG בסיסי מתקשה, ולכן שיטות תכנון חיפוש הופכות לרלוונטיות.

איך לבחון את הגישה בארגון בלי להסתכן בפרויקט יקר

הדרך הנכונה להתחיל היא פיילוט ממוקד סביב שאלות רב-שלביות, שבהן נדרש לחבר כמה מקורות. מומלץ לבחור 30 עד 50 שאלות אמת מהשטח שמייצגות עומס תפעולי או סיכון, ולמדוד לא רק דיוק אלא גם מספר מקורות מצוטטים, שיעור תשובות שמצריכות העברה למומחה, וזמן טיפול מקצה לקצה.

ברמת הארכיטקטורה, כדאי לדרוש שלושה מאפיינים: **תכנון שליפה רב-סבבי**, **מנגנון שמודד תרומת כל שליפה לנימוק**, ו **בקרה על מגוון מקורות** כדי להימנע מהטיית מקור יחיד. במקביל, חשוב להגדיר מגבלות חישוב, משום שהמחקר מציין עלות גבוהה יותר עקב ריבוי הרצות ושליפות. ניתן לצמצם עלויות באמצעות קיצוץ עומק החיפוש, שימוש במודל קטן להערכת ביניים, והפעלת החיפוש המלא רק כאשר השאלה מסווגת כמורכבת.

ברמת הממשל התאגידי, מומלץ להגדיר סטנדרט תשובה שמחייב עקיבות: כל טענה עובדתית אמורה להיות מגובה בציטוט מקור פנימי, והמערכת צריכה לדעת לציין אי ודאות כאשר לא נמצא כיסוי מספק בבסיס הידע. השילוב בין תכנון חיפוש לבין משמעת מקורות הוא צעד משמעותי להפחתת הזיות במודלי שפה, במיוחד בסביבות רגולטוריות.

לסיכום, המחקר מסמן מעבר מגישת שליפה סטטית לגישת חיפוש מתוכננת, שבה המודל מנהל חקירה כמו אנליסט אנושי: מגדיר, מאמת, מרחיב ומצליב. ההמלצה הפרקטית למנהלים היא לזהות תהליכים שבהם חוסר עקיבות ידע עולה כסף או סיכון, ולהפעיל פיילוט שמודד גם איכות וגם עלות חישובית. ארגונים שיצליחו לחבר תכנון חיפוש, מגוון מקורות ומשילות תשובות צפויים לקבל עוזרי ידע אמינים יותר, ולא רק ״צ׳טבוט שנשמע משכנע״.