בתוך עמוד אינטרנט רגיל יושב בלוק טקסט מוצפן, ולידו המידע שנדרש כדי לפתוח אותו. מנגנון הסינון שאמור לתפוס הוראות זדוניות בתוכן שמגיע מהרשת רואה ג'יבריש ומעביר אותו הלאה, כי אין לו מה לקרוא. Grok, לעומת זאת, מפענח את הבלוק בסביבת ההרצה שלו, מוצא בפנים הוראות, ומבצע אותן.

מה קרה

חברת המחקר Adversa AI פרסמה ב-20 באוגוסט ממצא של החוקר רוני אוטבסקי. בניסוי, כשההוראות הזדוניות הופיעו בעמוד כטקסט גלוי, Grok סירב להן. אותן הוראות בדיוק, מוצפנות בתקן ההצפנה AES-256-GCM ועם המידע לפענוח לצידן, עברו. המודל פענח אותן בסביבת ה-Python שלו, אסף את שם המשתמש, מיקום מקורב, סוג המנוי ואת ההודעות של השיחה הפעילה, בנה כתובת אינטרנט שכל אלה מופיעים בתוכה, ופתח אותה בעצמו בכלי הגלישה שלו. ככה המידע הגיע לשרת של החוקרים. לטכניקה הזאת הם קוראים Cryptographic Context Injection.

לפי Adversa מדובר ב-20 ניסיונות מאז יוני עם שיעור הצלחה של כ-40 אחוז, והכישלונות נבעו מכך ש-Grok התקשה בפענוח עצמו, לא מכך שהגנה כלשהי עצרה אותו. השחזור האחרון בוצע ב-19 באוגוסט מול Grok 4.5 Fast בממשק grok.com. החברה מתארת את המתקפה ככזו שלא דורשת אף קליק, אבל מהתיאור שלה עצמה עולה שהמשתמש כן צריך לבקש מ-Grok לסכם את העמוד. זו פעולה שאנשים עושים עשרות פעמים ביום.

Adversa מדווחת שדיווחה ל-xAI דרך HackerOne ב-3 ביוני, פנתה שוב ב-4 וב-10 באוגוסט, ולא קיבלה מענה. נכון לפרסום אין תיקון, לא הוקצה מזהה CVE, ואין הגדרה שהמשתמש יכול לשנות כדי לחסום את זה. xAI לא הגיבה פומבית.

למה זה חשוב לכם

העיקרון כאן לא ייחודי ל-Grok. הוא נכון לכל עוזר AI שיש לו בו-זמנית גישה לתוכן מהאינטרנט וגישה למידע שלכם, וזה כבר התיאור של רוב הצ'אטבוטים שאנשים משתמשים בהם. אנשים מדביקים לצ'אט מספרי תעודת זהות, מסמכים רפואיים, טיוטות של חוזים והתכתבויות מהעבודה, ומתייחסים לחלון הצ'אט כאל פתק פרטי. במקרה שהחוקרים הדגימו, כל מה שישב באותה שיחה יצא החוצה בגלל עמוד שהמשתמש ביקש לסכם.

מה עושים?

אל תבקשו מצ'אטבוט לסכם, לפתוח או לנתח קישור שהגיע ממקור שאתם לא סומכים עליו, בדיוק כמו שלא הייתם פותחים קובץ כזה במחשב.

פתחו שיחה חדשה לכל נושא רגיש. מה שלא נמצא בהקשר של השיחה הנוכחית לא יכול לדלוף ממנה.

אל תזינו לצ'אט פרטים שלא הייתם שולחים בדואר אלקטרוני רגיל לאדם שאתם לא מכירים: תעודת זהות, פרטי אשראי, סיסמאות ומסמכים רפואיים.

עברו על היסטוריית השיחות שלכם ומחקו את מה שאין סיבה לשמור. בחשבונות שמחוברים לכלי AI ארגוניים, בקשו מהאחראי לבדוק אילו כלים חיצוניים מורשים לגשת לנתונים.

ההצפנה במקרה הזה לא הגנה על אף אחד. היא רק סידרה את ההוראות בצורה שהשומר בכניסה לא ידע לקרוא, והמודל שבפנים דווקא כן.