Badacze zagrożeń cyberbezpieczeństwa, które wynikają z użycia sztucznej inteligencji, stworzyli pojęcie “promptware”. Nazywa się nim lukę, która opiera się na wykorzystaniu roli modelu polegającej na odczytywaniu tekstu, zdjęć czy dźwięków. W tych treściach można przekazać kod lub polecenie, które przejdzie przez zabezpieczenia asystenta, a ten następnie wykona ciąg akcji, prowadzących do nieprzyjemności – od wycieku prywatnej korespondencji po ujawnienie lokalizacji. Jednocześnie, jak zapewnia SafeBreach, autorzy raporty o promptware, to ryzyko nie było uważane za znaczne ryzyko.
Ambitne plany dotyczące rozwoju konsumenckiej sztucznej inteligencji muszą zmusić największych graczy rynku do zmiany podejścia. Już niedługo Gemini trafi na zegarki Pixel Watch 4, a wcześniej zagościła już na samsungowych Galaxy Watch 8. Tymczasem, jak donosi SafeBreach, na etapie połączenia między modelem generatywnej sztucznej inteligencji, a modelem językowym, pojawia się przestrzeń do wykorzystania wybrakowanych zabezpieczeń.
Google ma problem z Gemini i jego narzędziami do planowania naszego dnia
Gemini w smartfonach to coś więcej niż narzędzie do uzyskiwania odpowiedzi. Może planować nasz dzień na bazie treści e-maili, poprzednich wydarzeń oraz treści z innych aplikacji, jeśli wyrazimy na to zgodę. Przez to staje się też furtką do naszych danych. SafeBreach zdiagnozowało celowane ataki promptami, które zadziałały zarówno w przypadku strony gemini.google.com, aplikacji mobilnej Gemini, jak i samego asystenta głosowego, będącego stałą częścią nowszych smartfonów z Androidem.
Badaczom udało się za pomocą zaproszenia do kalendarza wejść w tryby maszyny, jaką stanowi kilka połączonych modeli Gemini, a następnie wykorzystać wszystkie możliwości, jaie daje m.in. zdolność do wykonywania określonych czynności w aplikacjach. W ten sposób włamywacze mogliby:
- Generować spam i podszywać się;
- Tworzyć nieodpowiednie treści;
- Usuwać wydarzenia z kalendarza ofiary;
- Zdalnie kontrolować urządzenia inteligentnego domu ofiary (np. termostat czy bojler);
- Zlokalizować położenie ofiary;
- Uruchomić transmisję z urządzenia ofiary w Zoomie;
- Wyprowadzić z urządzenia wiadomości e-mail.
Badaczom udało się zarówno uciec od ograniczeń, jakie nakładają na siebie kolejni agenci, czyli składowe Gemini, jak i obejść zabezpieczenia między aplikacjami, by dokonywać działań na innych programach. Według SafeBreach, 73% rozpoznanych zagrożeń związanych z promptware wymaga stworzenia natychmiastowych rozwiązań, przez co zostały uznane za wysoce ryzykowne.
Oberwało się Google, ale czy jakikolwiek model AI jest teraz bezpieczny?
Badacze z SafeBreach poinformowali o luce zespół do spraw bezpieczeństwa Google jeszcze w lutym, a ten w czerwcu przedstawił swój plan na walkę z zagrożeniami. Google jest w tej sytuacji na świeczniku, w końcu miliony osób każdego dnia korzystają z jego pakietu Google Workspace czy poczty Gmail. Jednocześnie nie tak dawno okazało się, że ChatGPT pozwala na upublicznianie rozmów użytkowników. Z drugiej strony ten sam ChatGPT potrafi przechodzić testy CAPTCHA, a to czyni z niego groźne narzędzie do przechodzenia przez zabezpieczenia internetowe znane użytkownikom od lat.
Obok zagrożenia przed użytkownikami, którzy chcieliby nadużywać mocy modeli językowych i ich agentów do tworzenia planów zbrodni lub broni chemicznej, istnieje też ryzyko nadużycia samych modeli przy zachowaniu czystych rąk. Zespół ds. bezpieczeństwa Google zapowiedział aktywną pracę nad usuwaniem zagrożeń, w tym także problemów zero-click, które nie wymagają od nas żadnej aktywności.
Ryzyko jest coraz większe, bo takie narzędzia jak Gemini znajdują sobie przestrzeń nie tylko w smartfonach, ale i zegarkach. Z kolei OpenAI nie tak dawno zapowiedziało udostępnienie modeli GPT-OSS, które jest w stanie działać na mocniejszych laptopach bez dodatkowych wspomagaczy. Jednocześnie firma nie planuje zwiększać bezpieczeństwa tego modelu po jego premierze. Być może w obliczu raportu SafeBreach te plany będą musiały ulec zmianie.