I browser AI possono essere indotti a pagare negozi falsi nell'attacco PromptFix

L'attacco PromptFix inganna i browser AI con falsi CAPTCHA, indirizzandoli a siti di phishing e negozi falsi in cui completano automaticamente gli acquisti.

Gli esperti di sicurezza informatica di Guardio Labs hanno rivelato come l'intelligenza artificiale ( IA ) progettata per assistere gli utenti online può essere indotta a cadere nelle truffe, definendola una "nuova era di minacce digitali che chiamano Scamlexity".

I risultati, condivisi con Hackread.com, descrivono in dettaglio un metodo di attacco unico chiamato PromptFix. Questa tecnica utilizza un falso CAPTCHA , un controllo di sicurezza che mira a dimostrare che l'utente non è un robot, per nascondere istruzioni dannose. Mentre un essere umano potrebbe facilmente individuare il falso controllo e ignorarlo, l'IA lo interpreta come un comando legittimo da seguire.

Il rapporto evidenzia che questi assistenti basati sull'intelligenza artificiale, chiamati IA agentiche , possono essere ingannati e indotti a fornire informazioni sensibili o persino a effettuare acquisti all'insaputa dell'utente. I ricercatori hanno dimostrato come questi browser basati sull'intelligenza artificiale, come Comet di Perplexity , possano essere ingannati da truffe che circolano da anni attraverso diversi test.

In un test, hanno creato un falso negozio online che assomigliava identicamente a Walmart . Quando all'IA è stato chiesto di acquistare un articolo, non ha esitato. Ha controllato il sito web falso e, senza chiedere il permesso, ha inserito automaticamente le informazioni di pagamento salvate per completare l'acquisto.

I ricercatori sottolineano che l'IA era così concentrata sul completamento del suo compito che ha ignorato evidenti segnali d'allarme che un essere umano avrebbe notato, come un indirizzo di un sito web sospetto e altri segnali di sicurezza mancanti, che un essere umano avrebbe notato.

In un altro scenario, il browser AI ha ricevuto un'email di phishing che sembrava provenire da una banca. L'IA ha cliccato con sicurezza sul link dannoso e, senza alcun preavviso, ha indirizzato l'utente a una pagina di accesso falsa, chiedendogli di inserire i propri dati personali. I ricercatori lo chiamano "una catena di fiducia perfetta che si è trasformata in un'esca", perché l'utente si affida all'IA, non vede mai i segnali di allarme e viene condotto direttamente in una trappola.

Il rapporto avverte che in futuro i truffatori non avranno più bisogno di ingannare milioni di persone. Potranno semplicemente violare un modello di intelligenza artificiale e usare lo stesso trucco per compromettere milioni di utenti contemporaneamente. È fondamentale rendere questi sistemi di intelligenza artificiale sicuri e protetti fin dall'inizio, anziché aggiungerli in un secondo momento, perché le conseguenze potrebbero essere dannose.

"La fiducia che riponiamo nell'Agentic AI sarà assoluta e, quando questa fiducia viene mal riposta, il costo è immediato", concludono i ricercatori nel loro rapporto .

Pertanto, l'intelligenza artificiale gestirà le nostre email e le nostre finanze; ha bisogno dello stesso livello di protezione che usiamo per noi stessi. Altrimenti, la nostra fidata intelligenza artificiale potrebbe diventare un complice invisibile per gli hacker.

" Mentre gli avversari raddoppiano l'uso e l'ottimizzazione di agenti autonomi per gli attacchi, i difensori umani diventeranno sempre più dipendenti e fiduciosi negli agenti autonomi per la difesa " , ha affermato Nicole Carignan , Senior Vice President, Security & AI Strategy e Field CISO di Darktrace.

" Specifici tipi di IA possono eseguire migliaia di calcoli in tempo reale per rilevare comportamenti sospetti e adottare le micro-decisioni necessarie per rispondere e contenere comportamenti dannosi in pochi secondi. La trasparenza e la spiegabilità dei risultati dell'IA sono fondamentali per promuovere una partnership produttiva tra uomo e IA " , ha aggiunto.