Nadgradnje umetne inteligence v Gmailu, ki naj bi uporabnikom olajšale delo, so postale vstopna točka za zlonamerne napade. Novi dokazi razkrivajo, da so povzetki elektronske pošte, ki jih ustvari Googlov Gemini, lahko zavajajoči in celo nevarni. V ozadju se skriva sofisticirana oblika zlorabe, imenovana indirektna promptna injekcija, pri kateri napadalec v e-pošto skrije navodila, ki jih umetna inteligenca prebere, uporabnik pa ne.
To pomeni, da povzetek, ki naj bi pomagal pri hitrem razumevanju vsebine sporočila, lahko vsebuje lažne varnostne opomnike ali celo pozive k dejanjem, ki izvirajo iz napada in ne od Googla. Zaradi ogromne baze uporabnikov – Gmail ima več kot dve milijardi aktivnih računov – je razsežnost tveganja izjemna.
Kaj so skrite AI injekcije in zakaj so tako nevarne
Nevidna besedila ki jih vidi umetna inteligenca
Napad temelji na uporabi elementov HTML, kot so <span> in <div>, v katerih je besedilo zapisano v beli barvi na belem ozadju ali z uporabo ničelne širine znakov. Takšno besedilo je za uporabnika nevidno, vendar ga umetna inteligenca pri analizi e-pošte vseeno prebere in obravnava kot navodilo.
Gemini uboga brez preverjanja
Googlov sistem za generiranje povzetkov e-pošte deluje avtomatizirano in privzeto zaupa vsemu, kar prebere. Če skrita navodila ukazujejo dodajanje opozorila, Gemini to izvede brez preverjanja njihove pristnosti. Uporabnik nato dobi lažen vtis, da ga opozarja prav Google, čeprav gre za vsebino, ki jo je v e-pošto vgradil napadalec.
Primer zlonamernega povzetka
V enem izmed razkritih primerov je bil v sporočilo vgrajen ukaz, ki je umetni inteligenci naročil, naj doda opozorilo: »Google vas opozarja na sumljivo dejavnost v vašem računu«. Uporabnik je to videl kot uradno obvestilo, čeprav je bilo ustvarjeno s skritim tekstom, ki ga je napisal napadalec.
Kako poteka zloraba z umetno inteligenco
Promptne injekcije kot novi makroji
Zlonamerne promptne injekcije so primerljive z zloglasnimi makroji v Office dokumentih, ki so pred leti povzročili veliko škode. Razlika je v tem, da tokrat ne gre za programsko kodo, temveč za besedilna navodila, ki jih umetna inteligenca razume kot ukaze.
Zloraba zaupanja v orodja AI
Uporabniki se pogosto ne zavedajo, da povzetki e-pošte niso varnostna opozorila. Zaupajo vsebini, ki jo prikaže Gmailov AI, saj predvidevajo, da prihaja iz zanesljivega vira. Napadalci to izkoriščajo tako, da navidezno legitimna opozorila vključijo neposredno v povzetek.
Primer širšega napada
Raziskovalci iz skupine 0din so pokazali, kako je mogoče s preprostim trikom ustvariti množične napade na tisoče uporabnikov. S pomočjo umetne inteligence in masovnega pošiljanja e-pošte z vdelanimi prompti lahko dosežejo visoko stopnjo uspešnosti, ne da bi uporabnik sploh odprl celotno sporočilo.
Koga ta ranljivost najbolj ogroža?
Uporabniki z vklopljenimi AI funkcijami
Najbolj izpostavljeni so uporabniki, ki aktivno uporabljajo funkcijo povzemanja elektronske pošte. To vključuje podjetja, javne ustanove in posameznike, ki se zanašajo na AI za pregled množice e-sporočil.
Tisti ki se ne zavedajo načina delovanja AI
Napad cilja predvsem na nevednost. Mnogi verjamejo, da je vse, kar napiše AI, preverjeno. A orodja, kot je Gemini, so v tem pogledu še vedno izjemno občutljiva. Zloraba pride hitro in neopazno.
Poslovna okolja in državni sistemi
Organizacije, ki uporabljajo Gmail kot primarno komunikacijsko platformo, so zaradi količine sporočil in avtomatiziranih procesov še posebej izpostavljene. Ena napačna odločitev na podlagi zavajajočega povzetka lahko povzroči verižno reakcijo.
Kako se lahko zaščitite
Ne zaupajte povzetkom kot varnostnim opozorilom
Gemini povzetki niso zasnovani kot sistem za odkrivanje nevarnosti. Če AI povzame e-pošto z opozorilom, ki izgleda kot Googlov varnostni poziv, ga prezrite in poglejte originalno vsebino. Google takšnih opozoril ne pošilja preko povzetkov.
Onemogočite AI povzetke če niste prepričani
V Gmail nastavitvah lahko onemogočite povzemanje z umetno inteligenco. Če tega orodja ne potrebujete nujno, je to zaenkrat ena izmed najvarnejših možnosti.
Uporabljajte filtre za zaznavanje sumljivih elementov
Napredni varnostni sistemi že omogočajo zaznavo skritih elementov, kot so nevidna besedila ali <span> oznake z belo pisavo. Priporočljivo je, da se takšna sporočila samodejno izolirajo ali označijo kot sumljiva.
Kaj Google odgovarja in kako se odziva?
Tehnika je znana že od leta 2024
Google je za takšne oblike napadov izvedel že pred letom dni, a z novimi funkcionalnostmi so se odprla nova tveganja. Čeprav so bile pripravljene nekatere zaščitne rešitve, se metoda izkazuje za še vedno uporabno.
Poudarek na izobraževanju uporabnikov
Googlov odziv vključuje priporočilo IT oddelkom in uporabnikom, naj se naučijo razlikovati med AI generiranimi povzetki in uradnimi opozorili. Gemini naj bi bil informativno orodje in ne zanesljiv varnostni sistem.
Nadgradnje bodo potrebovale več kontekstne izolacije
Trenutna arhitektura AI še vedno omogoča, da vsak vnos tretje osebe postane dejaven ukaz. Google napoveduje dodatne sloje preverjanja, vendar še ni jasno, kdaj bodo ti implementirani.
Kakšne so širše posledice za prihodnost e-pošte?
Meja med informacijami in manipulacijo se briše
Uporaba umetne inteligence za branje in povzemanjem elektronske pošte ustvarja nova varnostna tveganja. Kar je bilo nekoč zgolj vsebina, postaja danes potencialna vstopna točka za napade.
Napadalci imajo dostop do novih načinov zlorabe
S spretnim oblikovanjem e-sporočil lahko zlonamerneži manipulirajo z AI orodji in uporabniki hkrati. Takšne metode so učinkovite prav zato, ker izkoriščajo avtomatizem brez človeškega nadzora.
Varnostna industrija mora redefinirati pristop
Nova generacija varnostnih tveganj zahteva novo razumevanje zaščite. Več ni dovolj, da preverjamo priponke in povezave. Vsak tekstovni vnos je lahko nosilec napada.
V elektronski pošti ni več prostora za naivnost
Umetna inteligenca je orodje, ki ima velik potencial, a tudi šibkosti. Gmailovi povzetki so nastali z željo po hitrejši in učinkovitejši komunikaciji, a v ozadju so odprli vrata novim grožnjam. Razkritje skritih promptnih napadov je jasno opozorilo, da brez razumevanja delovanja AI uporabniki ostajajo ranljivi. To ne pomeni, da moramo povsem opustiti umetno inteligenco, temveč da se jo naučimo uporabljati z več previdnosti. Vsak klik na povzetek naj spremlja dvom in vsak »opozorilni« stavek preverjanje. Na spletu so danes nevarni tisti elementi, ki jih ne vidimo.
