מודלים קטנים בארגונים: למה התמחות משנה את כלכלת הבינה המלאכותית

תרשים עסקי של מודלים קטנים ומודלי ענק בתהליכי בינה מלאכותית ארגונית

מנהלים רבים עדיין מניחים שהדרך הבטוחה לאמץ בינה מלאכותית היא לבחור במודל הגדול ביותר שהתקציב מאפשר. ההנחה הזו הייתה הגיונית בתחילת הגל הנוכחי, כי מודלי חזית הציגו יכולות רחבות, גמישות ומרשימות. אבל ככל שיישומי הבינה המלאכותית נכנסים לליבת התפעול, מתברר שהשאלה החשובה אינה מי המודל החזק ביותר, אלא מי המודל המדויק ביותר לתהליך העסקי המסוים.

מודלים קטנים ומשימתיות מדויקת בתהליכי OCR

מחקר סביב מודל DharmaOCR מציף נקודה חשובה במיוחד. מודל ייעודי בגודל של כשלושה מיליארד פרמטרים עקף שירותי API מסחריים מתקדמים במשימת OCR מובנית למסמכים בפורטוגזית ברזילאית, ובמקביל הציג עלות נמוכה משמעותית. פער העלות מול אחת החלופות הבכירות הוערך בכפי חמישים לכל מיליון עמודים. בארגון שמטפל במיליוני מסמכים בשנה, זה כבר לא שיפור טכני קטן, אלא שינוי מלא במודל ההחזר על ההשקעה.

המשמעות העסקית ברורה. כאשר המשימה מוגדרת היטב, כמו חילוץ נתונים מחשבוניות, טפסים, חוזים, מסמכי ציות או רשומות מנהליות, למודל קטן ומכוונן יש יתרון אמיתי. הוא אינו צריך לשאת ידע כללי עצום שאינו רלוונטי למשימה. הוא צריך להבין את מבנה המסמך, את השפה, את השגיאות החוזרות, את שדות המידע ואת ההקשר המקצועי.

ייעוץ AI נכון מתחיל בהתאמה התפלגותית

המושג הקריטי כאן הוא התאמה התפלגותית. מודל שמכיר מסמכים דומים לאלו שבהם הוא יופעל, בדרך כלל יבצע פחות טעויות ממודל כללי שמכיר כמעט הכול ברמה רחבה. לכן בחירת מודל בסיס אינה החלטת רכש פשוטה, אלא החלטה ארכיטקטונית. מודל כללי, מודל שהותאם לעולם OCR, ומודל שהותאם למסמכי הארגון עצמו, יתחילו מנקודות איכות שונות לחלוטין.

כאשר אנו מלווים ארגונים בתהליכים כאלה, הפער המרכזי אינו רק בבחירת הטכנולוגיה. הפער נמצא ביכולת להגדיר מבחן אמיתי. ארגון צריך לבנות סט הערכה פנימי עם מסמכים מייצגים, שדות אמת, מדדי דיוק, שיעור כשל, זמן תגובה ועלות לעיבוד. בלי זה, החלטות מתקבלות לפי שם ספק, הדגמה יפה או דירוג ציבורי שאינו משקף את המציאות התפעולית.

התייעלות תפעולית דורשת מודלים, אנשים ותהליך

בינה מלאכותית ארגונית אינה עניין טכני בלבד. כדי להחליף תהליכים שבהם יש שיקול דעת אנושי, חייבים לשלב ידע מקצועי, ניהול סיכונים ואדם בלולאה. אבל אדם בלולאה אינו יכול להפוך לצוואר בקבוק. התכנון הנכון הוא מצב שבו מומחה שבעבר בדק תהליך בודד, מפקח כעת על מאות תהליכים, מטפל בחריגים ומאמן את המערכת להשתפר.

מכאן נובעת המלצה ברורה למנהלים. אל תבנו אסטרטגיית בינה מלאכותית סביב מודל ענק אחד לכל צורך. בנו שכבת מדידה, שכבת נתונים, תשתית להקמה וניהול של מודלים וסוכנים, ומפת משימות שמפרידה בין משימות פתוחות הדורשות מודלי חזית לבין תהליכים ממוקדים שבהם מודלים קטנים ינצחו באיכות, ביציבות ובעלות. היתרון התחרותי יעבור לארגונים שלא רק צורכים בינה מלאכותית, אלא יודעים למדוד, לכוונן ולנהל אותה כמו יכולת עסקית מרכזית.

2 דק׳ קריאה

מודל AI מקומי על 25 גיגהבייט זיכרון מוכיח זמינות, לא כדאיות

הניסוי של קוליברי אינו מוכיח שמודל חזית יכול לרוץ בזול על מחשב ביתי. הוא מוכיח שאפשר להחליף מחסור בזיכרון בזמן המתנה, ולהעביר את העלות מחומרת האצה אל האחסון ומשך העיבוד. מודל GLM-5.2 כולל 744 מיליארד פרמטרים ומשקלו כ-1.5 טרהבייט, אך הוא הופעל עם 25 גיגהבייט זיכרון בלבד. ההישג ההנדסי אמיתי. הכדאיות העסקית עדיין רחוקה. ארכיטקטורת MoE הופכת את האחסון לזיכרון איטי במודל המבוסס על תערובת מומחים, ארכיטקטורת MoE, כל טוקן אינו עובר דרך כל הפרמטרים. נתב פנימי מדרג תתי-מודלים מתמחים ובוחר רק את המומחים...

2 דק׳ קריאה

זיכרון AI נוירוני לא יהרוג את RAG, הוא יפריד בין ידע למצב

הוויכוח על מותו של RAG מוקדם מדי, וגם מחמיץ את הנקודה. זיכרון AI נוירוני לא יחליף את שכבת הידע הארגונית, אלא בעיקר את הצורך לבנות מחדש מצב חישובי שכבר נוצר. ההבחנה הזאת קובעת אילו תשתיות יישארו, היכן תיחסך השהיה ואילו סיכונים חדשים ייכנסו לארכיטקטורה. מערכת RAG מפרקת מסמכים למקטעים, ממירה אותם לווקטורים, שולפת התאמות ומחזירה טקסט לחלון ההקשר. המודל נדרש אז לחשב מחדש ייצוג פנימי של מידע שכבר עובד קודם. התהליך מצוין לחיפוש ראיות, אך מסורבל כשסוכן צריך להמשיך פעולה שהחלה ברכיב אחר לפני שניות...

2 דק׳ קריאה

כימות דינמי ב-SageMaker מוזיל את המודל, לא את האחריות ההנדסית

כימות דינמי ב-SageMaker הוא קודם כל מבחן למשמעת ההנדסית של הארגון, ורק אחר כך תרגיל בחיסכון בענן. נתון של כ-80% פחות בעלות לשעה נראה כמו אישור מיידי לעבור למכונה קטנה, אבל עלות נמוכה של נקודת קצה אינה מבטיחה עלות נמוכה לבקשה תקינה. תבנית צ'אט שגויה, הקשר ארוך או התרחבות איטית יכולים למחוק את החיסכון בלי לשנות אפילו משקולת אחת. כימות דינמי חוסך זיכרון באמצעות אי שוויון מכוון מודל בן 8 מיליארד פרמטרים בדיוק של 16 ביט דורש כ-16 ג'יגה-בייט רק עבור המשקולות. בכימות אחיד כל השכבות נדחסות לאותה רמת...

צור קשר

בואו נדבר על הפרויקט הגדול הבא שלכם

השאירו פרטים ונחזור אליכם. שיחת היכרות קצרה עם הצוות של KO AI, כדי להבין את התהליך, את היעד ואת הדרך הנכונה להגיע אליו.

ערוץ פניה מועדף

נחזור אליכם תוך יום עסקים אחד.

בואו נדבר

השאירו פרטים, ונחזור אליכם תוך יום עסקים אחד.

ערוץ פניה מועדף

נחזור אליכם תוך יום עסקים אחד.