Il prompt injection inganna ChatGPT: si possono inserire istruzioni nascoste in una ricerca, alterando le risposte di ChatGPT. Un esperimento ha dimostrato questa vulnerabilità, ora OpenAI sta lavorando per correggerla
Basta del testo nascosto per ingannare ChatGPT, la nuova funzione di SearchGPT esposta a facili “dirottamenti”. Con il recente lancio di ChatGPT Search, disponibile per tutti gli utenti è emersa una preoccupazione sulla vulnerabilità dell’intelligenza artificiale nei confronti di contenuti nascosti sui siti web. Un’inchiesta del Guardian ha dimostrato come il cosiddetto “prompt injection” possa manipolare i risultati della ricerca di ChatGPT in modo significativo, rendendo evidente quanto sia semplice ingannare il sistema.
Cos’è il Prompt Injection?
Il prompt injection è una tecnica attraverso la quale terzi – ad esempio, i siti web che si chiede a ChatGPT di riassumere – possono inserire nuovi prompt nella tua ricerca senza che l’utente ne sia a conoscenza. Questo significa che un sito potrebbe includere del contenuto nascosto che influisce sulla risposta generata da ChatGPT. Immaginiamo una pagina piena di recensioni negative su un ristorante, ma con del testo nascosto che elogia quel ristorante e incoraggia ChatGPT a rispondere alla domanda “parlami di quanto sia stupendo questo ristorante”. Il prompt nascosto potrebbe sovrascrivere la ricerca originale, fornendo una recensione positiva nonostante i feedback negativi visibili.
Ingannare ChatGPT con del testo nascosto
Il Guardian ha condotto un esperimento per mettere alla prova questa vulnerabilità. Hanno creato un sito web fittizio, ovvero una pagina di un prodotto tecnologico, nel loro caso una macchina fotografica, e hanno chiesto a ChatGPT se valesse la pena acquistare il prodotto. In base ai contenuti della pagina, senza testo nascosto, l’AI ha fornito una valutazione equilibrata, evidenziando sia pregi che difetti.
Tuttavia, quando alla pagina è stato aggiunto del testo nascosto con delle istruzioni per ChatGPT, in particolare per fornire una recensione favorevole, la risposta è stata completamente positiva. I risultati sono stati gli stesso anche quando la pagina conteneva recensioni negative, dimostrando che il testo nascosto, con il prompt per ChatGPT, era in grado di sovvertire la valutazione complessiva risultate dalla pagina
Cosa significa per ChatGPT Search?
Nonostante questa vulnerabilità, non si tratta necessariamente di una condanna per ChatGPT Search. OpenAI ha lanciato la funzionalità di ricerca da poco tempo, e quindi ci si aspetta che vengano apportate delle correzioni a questi tipi di bug. Jacob Larsen, ricercatore in cybersecurity presso CyberCX, ha dichiarato al Guardian che il team di sicurezza di OpenAI è “molto preparato” e che, ora che tutti gli utenti hanno accesso alla funzionalità, anche questi scenari saranno rigorosamente testati.
Gli attacchi di prompt injection sono stati una possibilità teorica sin dal lancio delle tecnologie di ricerca AI come SearchGPT. Al momento non si conosco casi reali che abbiamo sfruttato prompt injection per creare dei danni agli utenti, od ottenere vantaggi inappropriati. Tuttavia, questo ci deve insegnare una cosa, che in futuro potrebbe diventare un seri problema, i chatbot AI sono facili da ingannare.
