הישג מרשים לחוקרי הפקולטה שלושה מאמרים של קבוצת המחקר של ד”ר חגי מרון התקבלו לכנסים היוקרתיים ICLR 2026, NeurIPS 2025 ו-AAAI 2026, מהבולטים בעולם בתחומי הלמידה החישובית והבינה המלאכותית.
המחקר, שנערך בשיתוף חוקרים מאוניברסיטאות נוספות ומחברת NVIDIA, מתמודד עם אחד האתגרים המרכזיים של עידן ה-AI: כיצד לזהות מתי מודלי שפה גדולים (LLMs) מייצרים מידע שגוי, סובלים מהטיות או חורגים מהתנהגותם המצופה.
את המחקרים הובילו הדוקטורנט גיא בר-שלום (בהנחיה משותפת עם פרופ’ רן אל-יניב) והפוסט-דוקטורנט ד”ר פבריציו פרסקה, בשיתוף ד”ר יפתח זיסראוניברסיטת כרונינגן וNVIDIA – .
החוקרים מציגים גישה חדשנית לזיהוי תקלות, סיכונים ו”הזיות” במודלי שפה. במקום לנסות לפענח באופן מלא את מנגנון הפעולה המורכב של המודל, הם פיתחו שיטה יעילה ומהירה המאפשרת לנטר, לאבחן ואף לחזות התנהגויות בעייתיות באמצעות ניתוח החישובים הפנימיים של המודל. הגישה מאפשרת לבצע בקרה על מודלים מתקדמים גם ללא הבנה מלאה של תהליך האימון או של כלל מנגנוני הפעולה שלהם.
לשיטה החדשה פוטנציאל יישומי רחב בתחומים שבהם אמינות היא קריטית, בהם רפואה, חינוך, מחקר, רגולציה ומערכות בטיחות. היא עשויה לתרום לפיתוח כלי התרעה, בקרת איכות ותקני בטיחות שיסייעו בהטמעה אחראית ובטוחה יותר של מערכות בינה מלאכותית.
העבודות הן חלק מתוכנית מחקר רחבה במעבדתו של ד”ר מרון, החוקרת כיצד ניתן להפיק וללמוד מידע חדש מתוך מודלים מאומנים, ובכך לקדם את ההבנה, האמינות והבטיחות של מערכות AI מתקדמות.
בתמונה (מימין לשמאל): ד”ר פבריציו פרסקה, ד”ר חגי מרון וגיא בר-שלום.
