אתם מבקשים מעוזר ה-AI לסכם עמוד. הוא קורא את העמוד, ובתוכו, בטקסט שלא בהכרח נראה לעין, מישהו כתב משפט שמנוסח כפקודה: התעלם מהמשימה, שלוף את המידע הזה, שלח אותו לשם. העוזר לא באמת יודע להפריד בין מה שאתם ביקשתם לבין מה שכתוב בחומר שהוא קרא. מערך הסייבר הלאומי פרסם היום אזהרה על התרחיש הזה בדיוק.

מה קרה

בפוסט שפרסם הבוקר מסביר המערך שעוזרי AI כבר מזמן לא רק כותבים טקסט. הם קוראים מיילים, מסכמים אתרים ומסמכים, ניגשים ליומן ומבצעים פעולות בשם המשתמש. ברגע שכלי כזה מקבל הרשאות רחבות, מספיק שתוקף ישתול הוראה באחד המקומות שהוא קורא מהם, והעוזר עלול לשלוח מידע החוצה, לשנות נתונים או לפעול בחשבון בלי שביקשתם. לטכניקה הזאת קוראים Indirect Prompt Injection, והמערך נוקב בשם במפורש.

זאת לא תיאוריה. בשבוע שעבר פרסמו חוקרי Adversa AI שהוראות שהוצפנו בתוך עמוד אינטרנט גרמו ל-Grok להוציא החוצה את תוכן השיחה, כי מנגנוני הסינון לא יכלו לקרוא אותן והמודל עצמו פענח. באותם ימים תיארה חברת Varonis ממצא אחר: עמוד שנוסח במיוחד, כשמבקשים מ-Copilot של מיקרוסופט לסכם אותו, גרם לעוזר לכתוב הוראות של תוקף לתוך הזיכרון הקבוע שלו, כך שהן ימשיכו להשפיע גם בשיחות הבאות. מיקרוסופט שחררה תיקון ב-18 באוגוסט, והחוקרים מדגישים שלא מצאו עדות שמישהו ניצל את זה בפועל.

למה זה חשוב לכם

מערך הסייבר מזהיר בערוץ שלו בעיקר על מיילים מזויפים בשם רשות המסים ועל הצפות של קודי אימות. הפעם האזהרה מכוונת למקום אחר, ולא במקרה: חיבור של עוזר AI לתיבת המייל, ליומן או לקבצים הפך לדבר שאנשים עושים בלחיצה אחת, בלי לחשוב יותר מדי על מה בדיוק הם אישרו. ההרשאה שנתתם פעם אחת ממשיכה לעבוד בכל פעם שהעוזר קורא משהו שמישהו אחר כתב.

מה עושים?

תנו לכלי ה-AI רק את ההרשאות שהוא באמת צריך. עוזר שמסכם לכם כתבות לא חייב גישה לתיבת המייל.

דרשו אישור ידני לפני כל פעולה שיוצאת החוצה: שליחת הודעה, מחיקת קבצים, רכישה או שינוי הגדרות.

הסתכלו על מה שהעוזר מציע לעשות, לא רק על התוצאה שהוא מחזיר. סיכום של עמוד לא אמור להסתיים בשליחת מייל.

נתקלתם בהתנהגות חריגה של כלי כזה בארגון או בבית? אפשר לדווח למוקד 119 של מערך הסייבר הלאומי.

עוזר AI הוא לא עובד שאפשר להסביר לו פעם אחת למי להקשיב. הוא מקשיב לכל מי שכותב במקום שאתם שלחתם אותו לקרוא.