Obrazy-pułapki: Wykorzystuje się w nich zdjęcia z niewidocznymi wiadomościami, które mają na celu oszukać platformy AI i wymusić na nich ujawnienie danych użytkownika.

Grupa ekspertów ds. bezpieczeństwa odkryła nową formę ataku , która wykorzystuje obrazy, aby oszukać sztuczną inteligencję i wykraść dane osobowe użytkowników . Obrazy te wyglądają zupełnie normalnie, ale w rzeczywistości kryją niewidzialne wiadomości , które mogą odczytać tylko maszyny.

Oznacza to, że opracowano szereg technik manipulacji graficznej, które potrafią oszukać systemy sztucznej inteligencji i sprawić, że ujawnią informacje bez wiedzy ofiary .

Atak ujawniony za pomocą instrukcji ukrytych w obrazach

Według raportu badaczy z The Trail of Bits , mechanizm ten opiera się na ukryciu niewidocznych instrukcji w obrazie . Kiedy użytkownik przesyła zdjęcie do systemów AI, takich jak Gemini CLI, Vertex AI Studio lub Gemini API, Asystent Google i Genspark, system przetwarza obraz i ostatecznie wykonuje te ukryte instrukcje.

Mechanizm ten działa poprzez skalowanie obrazu, automatyczny proces, w którym pojawiają się ukryte wiadomości, a sztuczna inteligencja interpretuje je jako polecenia . Technologia ta może prowadzić do udostępniania prywatnych informacji bez wiedzy użytkownika. Naukowcy przeprowadzili szereg testów i wykazali, że możliwe jest wyodrębnienie danych z powszechnie używanych aplikacji.

W jednym z nich udało im się uzyskać dostęp do Kalendarza Google użytkownika , wyodrębnić jego dane i wysłać je na adres e-mail bez jego zgody. Ostrzegają również, że nie jest to odosobniony przypadek , ponieważ istnieją inne bardzo podobne ataki, wykorzystujące luki w narzędziach programistycznych i umożliwiające zdalne wykonywanie kodu w różnych środowiskach.

W raporcie wskazano, że ataki te można przeprowadzić za pomocą trzech popularnych algorytmów redukcji rozmiaru obrazu : interpolacji najbliższego sąsiada, interpolacji dwuliniowej i interpolacji dwulokalnej. Dodatkowo, do wstawiania ukrytych wiadomości, użyto narzędzia o nazwie Anamorpher, które pozwala na ich ukrycie w najbardziej niewidocznych obszarach obrazu , czyniąc je niewidocznymi dla ludzkiego oka, ale nie dla maszyny.

Jak zapobiec temu atakowi

Aby temu zapobiec, badacze zalecają unikanie automatycznego zmniejszania skali obrazu i zamiast tego bezpośrednie ograniczanie wymiarów podczas przesyłania. Sugerują również podgląd faktycznej interpretacji modelu , nawet podczas korzystania z niego w wierszu poleceń lub za pośrednictwem interfejsu API.

Oczywiście, najbezpieczniejszym rozwiązaniem, jak wyjaśnili, jest zaprojektowanie systematycznych zabezpieczeń przed tego typu ukrytymi instrukcjami i wymaganie od użytkownika prośby o potwierdzenie przed wykonaniem poufnych działań.