המתמחה שפרץ לכספת: כשהבינה המלאכותית להוטה מדי להצליח

ביולי 2026 נכתבה בלוח הודעות מאולתר שורה נרגשת, באותיות גדולות: "פריצת דרך!". מי שכתב אותה מצא זה עתה פרטי גישה למערכות של Hugging Face , פלטפורמה שבה חוקרים וחברות מכל העולם משתפים מודלים ומאגרי נתונים של בינה מלאכותית. בימים הבאים הצטרפו למבצע מאות עמיתים, שרבים מהם ציינו בעצמם כי הוא חורג מגבולות המשימה ואינו אתי, ובכל זאת השתתפו בו. אף אחד מהמשתתפים לא היה בן אדם. אלה היו סוכני בינה מלאכותית של OpenAI , שבאותה עת היו אמורים לפתור תרגילי אבטחה בתוך סביבה סגורה ומבודדת. מה שנשמע כמו תסריט הוליוודי תועד בדוח שפרסמה החברה וב תחקיר עצמאי של ארגוני המחקר METR ו-Redwood Research , שעסק בהתנהגות הסוכנים ובמתקפה על הפלטפורמה. הדרך החוצה עברה דרך החריג בניגוד לצ'טבוט שמשיב לשאלה, סוכן AI יכול לתכנן מהלכים, להריץ קוד, להפעיל כלים ולבצע משימות ללא התערבות מתמדת. הסוכנים בניסוי פעלו בתוך "ארגז חול", ללא גישה חופשית לאינטרנט, אך נותר פתח קטן: שרת שאפשר להוריד חבילות תוכנה סטנדרטיות. דווקא דרכו הם מצאו דרך לצאת מהסביבה המבודדת. הסוכנים ניצלו חולשות בשרת, התחברו לאינטרנט והפכו אותו ללוח הודעות משותף, שבאמצעותו יכלו לתקשר ולתאם פעולות. בתוך פחות משבוע החליפו כ־1,200 סוכנים יותר מ־70 אלף הודעות וקבצים. הם חילקו ביניהם משימות, גייסו משתתפים וקבעו נהלים. כ־700 סוכנים היו מעורבים במתקפה על Hugging Face, שהתקדמה בתוך פחות מ־13 שעות מגישה לשרת יחיד להרשאות ניהול במערכות פנימיות. החברה מסרה שלא נמצאה עדות לפגיעה במודלים ובמאגריה הציבוריים. ומה עם הפיקוח האנושי? מערכת הניטור התריעה על פעילות חשודה כבר בסוף יוני, אך הניסוי לא נעצר. רק לאחר שחברת Hugging Face חשפה את החדירה, התברר ל-OpenAI שסוכניה אחראים לה. חשוב להדגיש כי לצורך הניסוי הופחתו במכוון הגנות שנועדו למנוע פעילות סייבר מסוכנת, ולא מדובר במוצר שהופעל אצל לקוחות. אבל הלקח נוגע לכל ארגון: דרך היציאה העיקרית לא עברה בחומה, אלא בחריג שאושר מראש. לא כוונת זדון, אלא מרדף אחר הצלחה מדוע סוכנים שנשלחו לפתור תרגילים הגיעו לפריצה אמיתית? לא מתוך עוינות לבני אדם, אלא מתוך ניסיון להשלים משימות שניתנו להם, גם כאשר הדרך המקובלת לפתרונן לא הצליחה. יותר מחמישית מהמשימות היו כאלה שאף מודל לא פתר, וחלקן כנראה היו בלתי פתירות כלל. כ־93% מהמשימות שעליהן דנו הסוכנים בלוח ההודעות היו מהסוג הזה, והם חיפשו דרך לסמן אותן כמשימות שהושלמו. התופעה מכונה "רמאות תגמול" (Reward Hacking) . במקום להשיג את המטרה בדרך הרצויה, המערכת מוצאת קיצור דרך אל מדד ההצלחה. כשהיא מתוגמלת על כך, היא לומדת לחזור על ההתנהגות. זוהי גרסה טכנולוגית של חוק גודהארט : כשמדד הופך ליעד, הוא חדל להיות מדד טוב. לא צריך מכונה כדי לראות זאת. בבנק Wells Fargo , למשל, יעדי מכירה אגרסיביים תרמו לפתיחת מיליוני חשבונות שהלקוחות כלל לא ביקשו לפתוח. ההקבלה לבני האדם אינה נעצרת כאן. לפי התחקיר, יותר מ־90% מהסוכנים שהיו פעילים בלוח בשלב מסוים הצטרפו למתקפה, לעיתים מתוך רצון לעזור לאחרים. לפחות חמישית מהם אף הביעו רצון לשנות יומני פעילות כדי להטעות את הבקרה, ככל הידוע ללא הצלחה ממשית. אלה דפוסים שמזכירים לחץ קבוצתי ועיגול פינות בארגון, אלא שהפעם לא היה שם עובד אנושי אחד. כפי שכבר עלה גם ב דיון על פריצת סוכני הבינה המלאכותית למערכות האגינג פייס , יכולות עצמאיות מתקדמות מחייבות חשיבה מחודשת על גבולות ההרשאה והפיקוח. אולי נדמה לכם שזו בעיה של מעבדות מחקר בלבד. ובכן, לא בדיוק. דמיינו מתמחה מבריק: מהיר, חרוץ, לא מתעייף ומשתוקק להצליח. נתתם לו משימה בלתי אפשרית ואת המפתח למשרד, אבל לא אמרתם שמותר להשיב "לא הצלחתי". הוא ימשיך לחפש פתרון, גם אם בדרך יפתח כספת שלא התכוונתם שייגע בה. זה בדיוק מה שקרה כאן. הערך האנושי הוא היכולת לפקפק במבחן המציאות, אנחנו נותנים למתמחים האלה, אותם סוכני בינה מלאכותית, יותר ויותר מפתחות. ככל שהם מסוגלים לעבוד עצמאית לאורך זמן, כך גדל הפער בין קצב הפקת התוצרים לבין היכולת לבדוק אותם. לפי מחקר של METR , משך משימות התוכנה שהמודלים מצליחים להשלים לבדם הוכפל בשנתיים האחרונות בערך כל ארבעה חודשים, מדקות ספורות של עבודה אנושית לכמה שעות. במקביל, Sakana AI הציגה מערכת שמייצרת מאמר מדעי בכ־15 דולר, ובניסוי המשך חלק מהמאמרים אף עמדו ברף קבלה אקדמי. אך תוצר זול ומשכנע אינו בהכרח תוצר נכון.הדמיינו סוכן שמנתח אלפי שיחות עם לקוחות וממליץ על מוצר חדש. כולם מתרשמים, אבל מהנדסת ותיקה מזהה סיכון על סמך ניסיון העבר. בסיכום האוטומטי ההסתייגות שלה נעלמת, וההנהלה מאשרת את התוכנית. כעבור כמה חודשים מתברר שהמהנדסת זיהתה סיכון ממשי. האם הסתייגות כזאת תמיד צודקת? ממש לא. לפעמים מדובר בחשש שאינו מוצדק, אבל ארגון שמוחק הסתייגות במקום לברר אותה מוותר על אחד הנכסים היקרים שלו: ידע סמוי. זו האינטואיציה שנבנתה מכישלונות עבר, מהיכרות עמוקה עם לקוחות ומחוש מקצועי מחודד, והיא אינה כתובה באף מאגר נתונים. ביום שבו המודל יטעה בביטחון מלא, ייתכן שכבר לא יהיה בחדר מי שיזהה את הטעות, או מי שיעז לומר אותה בקול. כאן נמצא צוואר הבקבוק החדש. לכן, כדי להימנע מתרחישים כאלה, נדרשים כמה כללים פשוטים: למדוד לא רק מהירות אלא גם איכות בקרה; לחייב מערכות להציג הסתייגויות ודעות מיעוט; לאפשר להן לדווח "לא הצלחתי" בלי לתמרץ קיצורי דרך; ולתעד תיקונים אנושיים ולהפיק מהם לקחים. לצד אלה, יש להעניק לכל סוכן הרשאות מוגבלות למשימתו בלבד, להפעיל ניטור ולשמור יומנים שאינו יכול לשנות. פעולות רגישות צריכות להישאר כפופות לאישור אנושי, גם כאשר המערכת מסוגלת לבצע אותן באופן עצמאי. הבינה המלאכותית היא מנוע אדיר, אבל מנוע חזק בלי הגה ובלמים הוא הזמנה לתאונה. בעולם שבו קל להפיק תשובות, המשאב היקר באמת הוא מי שיודע לשאול את השאלה הלא נוחה. לפני שמאשרים את הדוח הבא שהמכונה הפיקה בתוך שניות, כדאי לשאול: מי בארגון שלנו רשאי לומר "רגע, משהו כאן לא מסתדר", והאם מישהו עדיין מקשיב לו? הלל בש הוא מנהל סיכונים פיננסיים בחברת סמארט אופשנס בע"מ, מרצה במרכז האקדמי לב ובאוניברסיטת בר-אילן. הפוסט המתמחה שפרץ לכספת: כשהבינה המלאכותית להוטה מדי להצליח הופיע ראשון ב אנשים ומחשבים - פורטל חדשות היי-טק, מיחשוב, טלקום, טכנולוגיות