Niewidzialne polecenia — jak hakerzy oszukują Gemini
O co dokładnie chodzi w ataku ASCII Smuggling? To sprytny sposób na “przemycanie” poleceń w tekście. Złośliwy kod lub instrukcja jest zapisywana za pomocą specjalnych znaków z bloku Unicode, które są widoczne dla dużych modeli językowych (LLM), ale całkowicie niewidoczne dla człowieka.
Wyobraźmy sobie taki scenariusz – dostajemy e-maila, który na pierwszy rzut oka wygląda niewinnie. W rzeczywistości, w treści ukryta jest instrukcja, napisana najmniejszą czcionką lub przy użyciu niewidocznych znaków. Jeśli poprosimy Gemini (szczególnie to zintegrowane z naszym Workspace) o podsumowanie tej wiadomości, AI przeczyta nie tylko widoczny tekst, ale również ukryte, złośliwe polecenie.
Czytaj też: Rewolucja w organizacji wiedzy. NotebookLM zyskuje ulepszoną integrację z Dyskiem Google
Brzmi to jeszcze gorzej, kiedy uświadomimy sobie, że nie są to tylko teoretyczne rozważania. Badacz bezpieczeństwa Viktor Markopoulos z firmy FireTail przetestował popularne modele LLM pod kątem podatności na ten atak i jego wyniki są alarmujące. Okazało się, że Gemini, DeepSeek i Grok są podatne na to oszustwo. Jednocześnie ChatGPT, Microsoft CoPilot i Claude udowodniły, że są bezpieczne, stosując mechanizmy oczyszczania wprowadzanych danych.
Problem jest naprawdę ogromny, zwłaszcza że Gemini jest coraz mocniej integrowane z ekosystemem Google’a. Złośliwe polecenie mogłoby nakazać AI:
- Przeszukiwanie skrzynki odbiorczej w poszukiwaniu wrażliwych informacji.
- Automatyczne wysyłanie danych kontaktowych do osoby trzeciej.
- Podmianę szczegółów w zaproszeniu w Kalendarzu (fałszowanie tożsamości organizatora).
Markopoulos zademonstrował, że Gemini dało się nabrać na to, by zareklamować użytkownikowi potencjalnie złośliwą stronę jako źródło świetnego, przecenionego telefonu. Mówimy tu więc o zmianie zachowania modelu, zatruwaniu danych, a nawet dostarczaniu fałszywych informacji, a wszystko to za pomocą niewidzialnego tekstu. Zwykłe próby phishingowe mogą teraz stać się narzędziem do autonomicznej ekstrakcji danych, jeśli mamy podpięty LLM do naszej skrzynki.
Co na to Google? No właśnie nic
Zwykle jest tak, że kiedy badacze cyberbezpieczeństwa odkrywają luki w zabezpieczeniach, firmy biorą to „na klatę” i od razu szykują poprawki. Tymczasem Markopoulos zgłosił swoje odkrycia do Google 18 września, dostarczając pełną dokumentację i demonstracje, natomiast reakcja giganta była co najmniej zaskakująca i, szczerze mówiąc, bardzo rozczarowująca.
Czytaj też: Wścibskie oko AI. Dlaczego OpenAI monitoruje Twoje czaty, nawet jeśli wyłączyłeś trening modelu?
Gigant z Mountain View odrzucił bowiem problem, twierdząc, że nie jest to błąd bezpieczeństwa, tylko taktyka socjotechniczna. Innymi słowy, Google umywa ręce, przerzucając odpowiedzialność na użytkownika końcowego. Logika firmy sugeruje, że to użytkownik jest “oszukiwany” i to on musi uważać, by nie poprosić AI o podsumowanie złośliwego tekstu. Świetna odpowiedź, zwłaszcza że Google sam spamuje funkcjami tego typu na lewo i prawo.
Czytaj też: Polska wchodzi w erę wyszukiwania AI. Tryb AI już gotowy do użycia
Takie stanowisko jest mocno kontrowersyjne, zwłaszcza że inni giganci technologiczni podchodzą do problemu inaczej. Na przykład Amazon opublikował szczegółowe wytyczne bezpieczeństwa dotyczące tego samego problemu przemycania znaków Unicode. Postawa Google’a jasno sugeruje, że nie ma ono w planach łatania tej luki, co w kontekście coraz głębszej integracji Gemini z Google Workspace (kalendarze, e-maile, dokumenty) budzi poważny niepokój.
Czytaj też: Koniec przełączania aplikacji. Gemini wprowadza nowy przycisk, by dać Ci pełną moc AI na wyciągnięcie ręki
Dla nas najważniejsze jest to, że chociaż firma może to nazywać socjotechniką, fakt pozostaje faktem: jej model jest podatny na atak, na który inni konkurenci znaleźli już skuteczne zabezpieczenie. Ta postawa stawia pod znakiem zapytania poziom zaufania, jakim powinniśmy obdarzać Gemini w kontekście wrażliwych danych, szczególnie tych zintegrowanych z naszym kontem Google. To kolejny dowód na to, że w świecie sztucznej inteligencji łatwo o luki, a my, użytkownicy, musimy być ostrożni, dopóki gigant nie zdecyduje się wziąć pełnej odpowiedzialności za bezpieczeństwo swojego flagowego produktu.