בינה מלאכותית ברפואה משאירה את השליטה אצל הספק ואת האחריות אצל הרופא
רופא יכול לדחות המלצה של אלגוריתם ולהגן על המטופל, אך אם יקבל אותה והמטופל ייפגע, שמו יופיע בתיק. הסידור הזה אינו רק עוול משפטי, אלא כשל בתכנון המערכת. בינה מלאכותית ברפואה מפצלת את השליטה בהחלטה בין ספק, הנהלת בית החולים וצוות קליני, בעוד האחריות נשארת מרוכזת אצל האדם האחרון בשרשרת. רישוי האלגוריתם לבדו לא יפתור את הפער.
כשל בבינה מלאכותית ברפואה מתחיל לעיתים בסף החלטה
מערכת אבחון אינה מפיקה אמת רפואית, אלא ציון הסתברותי שעובר דרך סף החלטה. הסף נקבע במהלך האימון או ההטמעה כדי לאזן בין רגישות לסגוליות, ולעיתים הוא מכויל על אוכלוסייה שונה מזו שפוגשת אותו בבית החולים. כאן מתחיל מנגנון הכשל: שינוי בתמהיל המטופלים, במכשיר הדימות או בפרוטוקול הבדיקה מזיז את התפלגות הנתונים, אבל הסף נשאר קבוע. עדכון תוכנה מצד הספק יכול לשנות שוב את ההתנהגות. כאשר הרופא רואה רק התרעה ולא את רמת הביטחון, גרסת המודל ונתוני הכיול, מצפים ממנו לשאת באחריות בלי לקבל את המידע הדרוש להפעלת שיקול דעת.
פסיקת Dent v. West Virginia משנת 1889 קשרה בין רישוי רפואי לבין אדם שאפשר לבחון את החלטותיו ולהטיל עליו סנקציה. העיקרון נשאר שימושי, אך שרשרת ההחלטה השתנתה. במערכת רפואית מבוססת מודל, הספק שולט בנתוני האימון ובעדכונים, בית החולים שולט בהטמעה והרופא שולט בהחלטה המקומית. נוצרה אחריות מלאה לצד שליטה חלקית.
אחריות רפואית בלי שליטה מייצרת פיקוח למראית עין
נניח שרופאת לב מקבלת אקו לב שהמערכת מסווגת כתקין. היא מזהה איכות צילום ירודה, משווה לבדיקה קודמת ומחליטה לשלוח את המטופל לבדיקה חוזרת. הבדיקה מגלה ירידה בתפקוד חדר שמאל. התוצאה הטובה תיוחס לשיקול הדעת שלה, ובצדק. אולם אם הייתה מאשרת את הפלט, ייתכן שבחקירה לא היה תיעוד של גרסת המודל, הסף שהופעל או שיעור השגיאות במכשיר המסוים. כפתור אישור אינו הופך את הרופא לבעל שליטה במערכת, במיוחד כשהעומס והתרעות השווא דוחפים לאישור אוטומטי.
טענה נגדית גורסת שמכשור רפואי תמיד השפיע על החלטות, והרופא נשאר בעל הסמכות המקצועית. לפי גישה זו, הרחבת אחריות הספקים תייקר מוצרים ותאט חדשנות. הטיעון סביר כל עוד הכלי פסיבי והתנהגותו יציבה. מודל שמתעדכן, מתעדף מקרים ומשנה את סדר העבודה מפעיל שליטה קלינית בפועל. אחריות משותפת אינה פוטרת את הרופא, אלא מחלקת את הסיכון לפי יכולתו של כל צד למנוע את הכשל.
אדם בלולאה צריך סמכות, נתונים ויכולת עצירה
ארגון שמטמיע מערכת אבחון צריך לנהל לכל מודל תיק אחריות קליני, ולא להסתפק באישור רכש או רגולציה. התיק צריך לזהות מי קובע את סף ההתרעה, מי מאשר גרסה חדשה, אילו נתוני ביצועים נמדדים בכל מחלקה ומי רשאי להשבית את המודל. בנוסף, יש לנטר לפחות אחת ל-30 יום שינוי בשיעור ההתרעות, עקיפות הרופאים ותוצאות קליניות לפי מכשיר ואוכלוסייה. חוזה הספק צריך לחייב שמירת גרסאות, דיווח על שינויי כיול וגישה לנתוני חקירת אירוע. האדם בלולאה אינו חייב לבדוק ידנית כל פלט, אחרת ההתייעלות נעלמת. הוא צריך לפקח על מאות החלטות באמצעות חריגים, מדגמים ומדדי סחף, עם סמכות אמיתית לעצור את המערכת. אחריות רפואית יכולה להישאר אנושית רק כאשר השליטה הדרושה להפעלתה נשארת אנושית גם היא.
