כשה-AI מקבל הרשאה לפעול: מי עוצר את הסוכן האוטונומי?

במשך שנים התרגלנו לחשוב על מערכות בינה מלאכותית כעל כלים שמייצרים תשובות. גם כשהן טעו, הנזק עבר בדרך כלל דרך אדם שקרא את התשובה והחליט מה לעשות איתה. סוכני AI משנים את המשוואה הזאת. הם כבר יכולים לפתוח קובץ, לגשת למסד נתונים, להפעיל כלי תוכנה, לשלוח מידע, לשנות הגדרה או לבצע רצף פעולות בשם המשתמש. ברגע שהבינה המלאכותית עוברת מלהציע פעולה ללחיצה על הכפתור בעצמה, אבטחת AI הופכת מבעיה של מידע לבעיה של ביצוע. ההבחנה הזאת קריטית במיוחד במערכות שבהן לפעולה דיגיטלית יכולה להיות תוצאה בעולם הפיזי. במפעל, בתחנת כוח, במערכת מים או בסביבה ביטחונית, פקודה אינה רק שורה במחשב. היא יכולה לשנות תהליך ייצור, להשפיע על מערכת בקרה או להפעיל רכיב. לכן השאלה המרכזית כבר אינה רק האם סוכן AI קיבל את ההרשאה הנכונה, אלא האם קיימות פעולות שגם במקרה של טעות, פריצה או מניפולציה הוא פשוט אינו מסוגל לבצע. כשהרשאות רחבות הופכות לסיכון גם תעשיית הסייבר מתחילה לעסוק בשינוי הזה. מחקר של Microsoft Research על סוכני AI בעלי גישה לכלים מצביע על כך שחלק מהסיכונים נובעים מפער בין כוונת הסוכן לבין היכולות שניתנו לו, מ כלים בעלי הרשאות רחבות מדי ומזליגה של סמכויות בסביבת ההרצה. התגובה המתבקשת היא להקשיח הרשאות, להגביל את הכלים שאליהם הסוכן יכול לגשת, לנטר את פעולותיו ולדרוש אישור אנושי לפעולות רגישות. כל אלה חיוניים. אבל בסביבות קריטיות כדאי לשאול שאלה נוספת: מה קורה כאשר מנגנון האכיפה עצמו הוא עוד רכיב תוכנה בתוך אותה סביבת פעולה? אנחנו למעשה מבקשים מתוכנה לפקח על תוכנה אוטונומית, ומניחים שהגבול שהגדרנו יישאר אפקטיבי גם כאשר הסוכן, סביבת ההרצה או אחד הכלים המחוברים אליו מתנהגים באופן שלא צפינו מראש. לא רק הרשאה מינימלית – גם יכולת מינימלית כאן נדרש שינוי מחשבתי. לצד עקרון ההרשאה המינימלית, ייתכן שבעידן הסוכנים האוטונומיים נצטרך לדבר גם על יכולת מינימלית . יש הבדל בין לומר לסוכן שאסור לו לבצע פעולה מסוימת לבין לבנות את המערכת כך שלא תהיה לו מלכתחילה היכולת הטכנית לבצע אותה. במערכת משרדית ההבדל עשוי להיות קטן. בתשתית קריטית הוא יכול להיות ההבדל בין מדיניות אבטחה לבין גבול שניתן לאכוף גם כאשר משהו משתבש. כשהגבול חוזר לשכבה הפיזית זו גם התפיסה שעומדת מאחורי שיתוף הפעולה שעליו הכרזנו לאחרונה ב-Zeroport עם Wand AI , המפתחת תשתיות להפעלה ולניהול של סוכני AI בארגונים ובממשלות, לרבות סביבות של בינה מלאכותית ריבונית. במסגרת שיתוף הפעולה משולבת שכבת הפרדה ואכיפה שמאפשרת לסוכנים לעבוד מול מערכות מבודדות וקריטיות בלי לקבל נתיב רשת ישיר אליהן. הרעיון אינו להחליף את מנגנוני התוכנה, אלא להוסיף במקומות הרגישים ביותר גבול שהסוכן עצמו אינו יכול פשוט לשנות באמצעות פקודה, הרשאה או החלטה אחרת. זו עשויה להיות אירוניה מעניינת של מהפכת ה-AI. במשך שני עשורים עולם הסייבר העביר עוד ועוד מנגנוני אבטחה לתוכנה, לענן ולמערכות ניהול מרכזיות. דווקא ככל שהתוכנה הופכת עצמאית יותר ומקבלת יכולת לפעול, ייתכן שבנקודות הקריטיות ביותר נרצה להחזיר חלק מהאכיפה אל העולם הפיזי. לא במקום תוכנה, אלא כקו הגנה נוסף שאינו תלוי בהחלטה של אותה מערכת שעליה הוא אמור להגן. המרוץ סביב סוכני AI מתמקד כיום בעיקר בשאלה כמה עצמאות נוכל לתת להם. בעולם הביטחוני ובתשתיות קריטיות, השאלה החשובה לא פחות היא היכן העצמאות הזאת חייבת להסתיים. בעידן שבו מכונות לא רק מנתחות את העולם אלא מתחילות לפעול בתוכו, אבטחה לא יכולה להסתפק בהגדרה של מה מותר לסוכן לעשות. במערכות החשובות באמת, נצטרך להגדיר גם מה הוא לעולם לא יוכל לעשות. יוסף (ספי) גרץ הוא מייסד-שותף ומנכ"ל Zeroport , חברת סייבר לאבטחת מערכות קריטיות הפוסט כשה-AI מקבל הרשאה לפעול: מי עוצר את הסוכן האוטונומי? הופיע ראשון ב אנשים ומחשבים - פורטל חדשות היי-טק, מיחשוב, טלקום, טכנולוגיות