כשהארגון הופך לתוקף: האיום החדש של סוכני ה-AI

בראיון לאנשים ומחשבים לפני שבועיים , הצגתי את סוכני הבינה המלאכותית כדור חדש של איומים פנימיים: עובדים אוטונומיים שעלולים להתגלות כבלתי ממושמעים ובלתי צפויים, בעלי הרשאות גישה למערכות הארגון ולתהליכים עסקיים. ככל שארגונים יאמצו את הטכנולוגיה, צפויים לפעול בתוכם מאות ואף אלפי סוכנים כאלה, במהירות ובהיקפים שלא הכרנו בעבר. אלא שהסיכון אינו מסתיים בנזק שסוכן עלול לגרום בתוך הארגון. אם סוכן יפעל בניגוד לכוונת הארגון בעקבות מניפולציה, השתלטות עוינת או התנהגות בלתי צפויה, הארגון עצמו עלול להפוך ללא ידיעתו למקור של מתקפת סייבר נגד לקוחותיו, ספקיו ושותפיו העסקיים. כשהאמון הופך לכלי תקיפה דמיינו ארגון שמפעיל מאות סוכני AI, שחלקם מורשים לשלוח הודעות דוא"ל, לגשת למאגרי לקוחות ולהעביר קבצים לגורמים חיצוניים. סוכן שנפל לשליטת תוקף יכול לנצל את ההרשאות הלגיטימיות שלו כדי לשלוח אלפי הודעות עם קבצים נגועים, מתוך החשבונות האמיתיים של הארגון ובאמצעות כתובות וקשרים עסקיים מוכרים. עבור הנמען מדובר לכאורה בהודעה מגורם מוכר ומהימן, ולכן הסיבה לחשוד בה קטנה משמעותית. כאן טמונה אחת הסכנות החמורות ביותר: האמון שהארגון בנה במשך שנים הופך לתשתית שעליה רוכבת המתקפה. הנזק אינו מסתכם בפגיעה טכנולוגית. ארגון שהפך בתוך שעות למקור מוכר של הפצת נוזקות עלול לאבד את אמון לקוחותיו, להיחסם על ידי שותפים עסקיים ולפגוע בקשרים מסחריים שנבנו לאורך שנים. לכך מתווספת גם חשיפה משפטית. העובדה שהפעולה בוצעה באופן אוטונומי על ידי סוכן אינה מבטיחה שהארגון יוכל להתנער מאחריות לנזק שנגרם ללקוחות או לשותפים באמצעות המערכות שלו. שרשרת האספקה הופכת לערוץ הפצה הסיכון אינו מוגבל לדוא"ל. סוכני AI יוצרים, משנים ומעבירים מסמכים וקבצים כחלק מתהליכים עסקיים שגרתיים, ולכן סוכן שנפגע יכול להפוך גם את שרשרת האספקה של הארגון לערוץ להפצת תוכן זדוני. בתרחיש כזה התוקף כבר אינו נדרש להתחזות לארגון אמין או לפרוץ מבחוץ לכל אחד מהקורבנות. הוא יכול לנצל את המערכות האוטונומיות של הארגון כדי לבצע את המתקפה בשמו ומתוך ערוצים לגיטימיים שכבר זוכים לאמון. עובדים זדוניים יכלו גם בעבר לגרום לנזקים מסוג זה, אבל סוכני AI משנים את קנה המידה. הם יכולים לפעול במהירות מכונה, במקביל, באמצעות הרשאות אמיתיות ומתוך מערכות שהסביבה העסקית כבר מכירה כמהימנות. גבולות הסיכון הארגוני משתנים עד היום התמקדה אבטחת הסייבר בעיקר בשאלה מה תוקפים עלולים לעשות לארגון. עם התרחבות השימוש בסוכנים אוטונומיים, הנהלות צריכות לשאול גם מה המערכות שלהן עלולות לעשות לאחרים אם יאבדו שליטה עליהן. השילוב בין אוטונומיה, מהירות, היקף פעילות וניצול של אמון ארגוני עלול לייצר נזק שחורג בהרבה מתקלה טכנולוגית. אובדן מוניטין, חשיפה משפטית ופגיעה ביחסים עסקיים הופכים את הסיכון הזה לנושא שצריך להגיע גם לשולחן ההנהלה והדירקטוריון. מתקפת הסייבר הבאה שתסכן ארגון לא חייבת להגיע מבחוץ. היא יכולה לצאת מתוך מערכותיו, באמצעות סוכני ה-AI שלו, ולפגוע דווקא באנשים ובארגונים שסומכים עליו. ד"ר אורן איתן הוא מייסד ומנכ"ל אודיקס, העוסקת בהסרת פגיעויות ונוזקות לא ידועות מקבצים באמצעות טכנולוגיות הלבנה ובתחום Zero Trust for Data. איתן, אל"מ במילואים, שירת בעבר באגף התקשוב וההגנה בסייבר בצה"ל, ובתפקידו האחרון היה מפקד יחידת מצו"ב. הפוסט כשהארגון הופך לתוקף: האיום החדש של סוכני ה-AI הופיע ראשון ב אנשים ומחשבים - פורטל חדשות היי-טק, מיחשוב, טלקום, טכנולוגיות