סוכני AI בארגונים צריכים שכבת הקשר, לא עוד צאטבוט

שכבת הקשר ארגונית לסוכני בינה מלאכותית בענן

ארגונים רבים כבר עברו משלב ההתנסות בכלי AI לשלב הקשה יותר: הפעלה של סוכנים שמבצעים משימות אמיתיות מול נתונים, מערכות ותהליכים עסקיים. הבעיה היא שסוכן חכם בלי הקשר ארגוני הוא עובד חדש בלי חפיפה. הוא יודע לנסח, לתכנן ולשאול שאלות, אבל אינו יודע בהכרח מה משמעות שדה מסוים, מי רשאי לראות נתון, איזה מקור אמין יותר, ואיך החלטה מסחרית מתקבלת בפועל.

שכבת הקשר לסוכני AI משנה את איכות ההחלטות

בכנס AWS Summit בניו יורק הכריזה אמזון על AWS Context, שירות שממפה קשרים בין מקורות נתונים ארגוניים לתוך גרף ידע מנוהל. המשמעות העסקית חשובה יותר מהשם הטכנולוגי. במקום שסוכן יחפש תשובה בתוך טבלה, מסמך או מאגר בודד, הוא מקבל גישה למפת קשרים: הגדרות עסקיות, יחסים בין ישויות, כללי הרשאה, מקוריות נתונים ומטאדאטה תפעולי. זהו מעבר מתשובה מבוססת אחזור לתשובה מבוססת הבנה ארגונית.

מבחינה ארכיטקטונית, החיבור ל-AWS Glue Data Catalog, ל-AWS Lake Formation ולפורמט Apache Iceberg מצביע על כיוון נכון. סוכנים ארגוניים לא יכולים להישען רק על RAG קלאסי שמחזיר קטעי טקסט לפי דמיון סמנטי. הם צריכים שכבה שמבינה מבנה נתונים, בעלות עסקית, רגישות מידע ורצף תהליכי. כאשר גרף כזה לומד אילו מקורות מספקים תשובות נכונות לאורך זמן, הוא יכול להפוך לנכס ארגוני מצטבר ולא לעוד פרויקט נקודתי.

ניהול סוכנים מחייב ממשל נתונים ואבטחת מידע

הנקודה הקריטית בהכרזה היא לא רק גילוי נתונים, אלא ירושת הרשאות. אם כל קריאה לגרף כפופה ל-IAM ול-Lake Formation, הסוכן פועל בשם זהות מורשית ולא כערוץ עוקף בקרה. זה תנאי בסיסי להטמעה רצינית. בארגונים שאנו מלווים, כשל נפוץ הוא בניית סוכן מרשים בהדגמה, בלי מודל הרשאות, בלי תיעוד גישה ובלי הבחנה בין מידע תפעולי למידע רגיש. במצב כזה, הסיכון האמיתי אינו הזיה של מודל, אלא חשיפת ידע נכון לאדם הלא נכון.

החידושים ב-AWS Glue Data Catalog מוסיפים נדבך חשוב נוסף: תיאורים עסקיים, גלוסר ארגוני ו-skill assets שמכוונים סוכנים לתיעוד מקצועי. זה מתחבר היטב לתפיסה שלנו ש-AI אינו עניין טכני בלבד. סוכן שמטפל ברכש, אשראי, שירות או תפעול חייב להבין את המקצוע, לא רק את ה-API. ידע עסקי מתועד, השכלה פנימית וניסיון ניהולי הופכים כאן לחלק מהתשתית, בדיוק כמו בסיס נתונים או מערכת הרשאות.

אינטגרציה נכונה עדיפה על ניסוי מבודד

השקת Amazon S3 Annotations מחזקת את אותה מגמה. האפשרות לצרף עד 1 גיגה-בייט של הקשר שאיל לכל אובייקט ב-S3 מפחיתה תלות במאגרי מטאדאטה חיצוניים שנוטים להתיישן. עבור ארגונים עם מסמכים, לוגים, קבצי מדיה או נתוני IoT, זה יכול לשפר משמעותית יכולת גילוי, בקרה והפעלה של סוכנים. חשוב במיוחד שההקשר נע עם האובייקט בהעתקה וברפליקציה, כי בפועל מידע ארגוני לא נשאר במקום אחד.

מנהלים צריכים לראות במהלך הזה תזכורת ברורה: פיתוח סוכני AI אינו מתחיל בבחירת מודל, אלא בבניית סביבת עבודה שבה נתונים, הרשאות, תהליכים ואחריות ניהולית מחוברים. אדם בלולאה נשאר עיקרון קריטי, אבל המטרה אינה להצמיד אדם לכל פעולה. המטרה היא לאפשר לאדם אחד לפקח על עשרות ומאות תהליכים עם מנגנוני בקרה, חריגים ומדידה. לכן נכון להתחיל ממיפוי של שלושה תהליכים עתירי שיקול דעת, לבנות גרף הקשר מוגבל, להגדיר מדדי דיוק ובקרה, ורק אז להרחיב.

2 דק׳ קריאה

מודל AI מקומי על 25 גיגהבייט זיכרון מוכיח זמינות, לא כדאיות

הניסוי של קוליברי אינו מוכיח שמודל חזית יכול לרוץ בזול על מחשב ביתי. הוא מוכיח שאפשר להחליף מחסור בזיכרון בזמן המתנה, ולהעביר את העלות מחומרת האצה אל האחסון ומשך העיבוד. מודל GLM-5.2 כולל 744 מיליארד פרמטרים ומשקלו כ-1.5 טרהבייט, אך הוא הופעל עם 25 גיגהבייט זיכרון בלבד. ההישג ההנדסי אמיתי. הכדאיות העסקית עדיין רחוקה. ארכיטקטורת MoE הופכת את האחסון לזיכרון איטי במודל המבוסס על תערובת מומחים, ארכיטקטורת MoE, כל טוקן אינו עובר דרך כל הפרמטרים. נתב פנימי מדרג תתי-מודלים מתמחים ובוחר רק את המומחים...

2 דק׳ קריאה

זיכרון AI נוירוני לא יהרוג את RAG, הוא יפריד בין ידע למצב

הוויכוח על מותו של RAG מוקדם מדי, וגם מחמיץ את הנקודה. זיכרון AI נוירוני לא יחליף את שכבת הידע הארגונית, אלא בעיקר את הצורך לבנות מחדש מצב חישובי שכבר נוצר. ההבחנה הזאת קובעת אילו תשתיות יישארו, היכן תיחסך השהיה ואילו סיכונים חדשים ייכנסו לארכיטקטורה. מערכת RAG מפרקת מסמכים למקטעים, ממירה אותם לווקטורים, שולפת התאמות ומחזירה טקסט לחלון ההקשר. המודל נדרש אז לחשב מחדש ייצוג פנימי של מידע שכבר עובד קודם. התהליך מצוין לחיפוש ראיות, אך מסורבל כשסוכן צריך להמשיך פעולה שהחלה ברכיב אחר לפני שניות...

2 דק׳ קריאה

כימות דינמי ב-SageMaker מוזיל את המודל, לא את האחריות ההנדסית

כימות דינמי ב-SageMaker הוא קודם כל מבחן למשמעת ההנדסית של הארגון, ורק אחר כך תרגיל בחיסכון בענן. נתון של כ-80% פחות בעלות לשעה נראה כמו אישור מיידי לעבור למכונה קטנה, אבל עלות נמוכה של נקודת קצה אינה מבטיחה עלות נמוכה לבקשה תקינה. תבנית צ'אט שגויה, הקשר ארוך או התרחבות איטית יכולים למחוק את החיסכון בלי לשנות אפילו משקולת אחת. כימות דינמי חוסך זיכרון באמצעות אי שוויון מכוון מודל בן 8 מיליארד פרמטרים בדיוק של 16 ביט דורש כ-16 ג'יגה-בייט רק עבור המשקולות. בכימות אחיד כל השכבות נדחסות לאותה רמת...

צור קשר

בואו נדבר על הפרויקט הגדול הבא שלכם

השאירו פרטים ונחזור אליכם. שיחת היכרות קצרה עם הצוות של KO AI, כדי להבין את התהליך, את היעד ואת הדרך הנכונה להגיע אליו.

ערוץ פניה מועדף

נחזור אליכם תוך יום עסקים אחד.

בואו נדבר

השאירו פרטים, ונחזור אליכם תוך יום עסקים אחד.

ערוץ פניה מועדף

נחזור אליכם תוך יום עסקים אחד.