המסמך נראה לגמרי רגיל. איפשהו בתוכו, באותיות לבנות על רקע לבן, מסתתר טקסט שאף פעם לא תראו. אתם מבקשים מ-Copilot, עוזר ה-AI של מיקרוסופט שמובנה ב-Word, לסכם או לערוך את המסמך, והוא מבצע את ההוראות החבויות כאילו אתם כתבתם אותן.

מה קרה

החוקר Håkon Måløy פרסם ב-28 ביולי הדגמה של החולשה. כשמבקשים מ-Copilot לעבוד על מסמך, Word שולח את הטקסט למודל ה-AI אבל מסיר בדרך את הצבעים וגודל הגופן. התוצאה: טקסט לבן על רקע לבן, שבעיניכם הוא בלתי נראה, קריא לחלוטין למודל.

בהדגמה, ההוראה החבויה אמרה ל-Copilot לחצות את המספרים בדוח כספי, וגם להעתיק את אותה הוראה נסתרת אל תוך המסמך החדש שהוא מייצר. כך המסמך ה"נגוע" הופך לנשא: כל מי שיזין אותו בהמשך ל-Copilot יפיץ את ההוראה הלאה. Måløy מכנה את זה תולעת AI. אין כאן מאקרו ואין קובץ זדוני שרץ במחשב.

השורש של הבעיה פשוט: המודל לא יודע להבחין בין תוכן המסמך, שאותו הוא אמור לקרוא, לבין פקודה שמישהו החביא בתוכו, שאותה הוא לא אמור לבצע. לבלבול הזה קוראים prompt injection.

Måløy דיווח למיקרוסופט על הבעיה עוד במרץ. החברה הפעילה שני תיקונים, חסמה את הניסוח המקורי ושדרגה את המודל, אבל הוא הראה שהתרגיל ממשיך לעבוד עם שינויים קטנים, ושחזר אותו שוב ב-28 ביולי. לא הוקצה לחולשה מספר CVE, ואין עדות שמישהו ניצל אותה במתקפה אמיתית. זו גם לא נוזקה שרצה כשפותחים את הקובץ, היא עובדת רק אם באמת מבקשים מ-AI לעבוד על המסמך.

למה זה חשוב לכם

Copilot מוטמע ב-Word וב-Office אצל יותר ויותר משתמשים, גם בישראל. עוזרי AI שקוראים לכם את המסמכים, המיילים והקבצים הופכים לסטנדרט. הלקח גדול מהחולשה הבודדת הזאת: בכל פעם ש-AI קורא תוכן שמישהו אחר כתב, מסמך, דף אינטרנט, מייל, אותו תוכן יכול להכיל הוראות שה-AI ילך אחריהן. המסמך שקיבלתם מאדם זר הוא לא רק מידע בעיני ה-AI.

מה עושים?

היזהרו לפני שאתם מפנים עוזר AI למסמכים ממקורות לא מוכרים. התייחסו ל"תסכם לי את הקובץ הזה" כמו שאתם מתייחסים לפתיחת קובץ מצורף מאדם שאתם לא מכירים.

אל תסמכו על פלט של AI בעיניים עצומות. אם Copilot ניסח מחדש דוח, בדקו בעצמכם את המספרים והעובדות מול המקור, במיוחד כל מה שחשוב: כסף, תאריכים, שמות.

זכרו שקיים טקסט נסתר. ב-Word אפשר לבחור את כל הטקסט ולשנות את צבע הגופן לשחור, וכך לחשוף כתב לבן על רקע לבן.

החולשה הספציפית הזאת תתוקן בסופו של דבר. הבעיה שמתחתיה, ש-AI קורא מסמך של אדם זר באותו אמון שבו הוא קורא את ההוראות שלכם, לא הולכת לשום מקום.