La tecnica si chiama prompt injection attack e ha squarciato le “difese” della tecnologia di ChatGPT
Microsoft Bing non è ancora disponibile, se non a un limitato numero di utenti che lo stanno testando. Non ci riferiamo al poco utilizzato motore di ricerca della casa di Redmond che, al momento, non scalfisce il primato indiscusso di Google. Stiamo parlando dell’aggiornamento di Microsoft Bing, che secondo quanto annunciato pochi giorni fa dalla multinazionale sfrutta la tecnologia di ChatGPT, il chatbot di OpenAI (qui trovate tuuutto quello che dovete sapere a riguardo). Ebbene, per quanto rivoluzionario secondo molti, pure Bing commette errori. E qualcuno è perfino riuscito a scoprirne i segreti. Kevin Liu, studente ad Stanford, ha pubblicato su Twitter gli screenshot di una conversazione che ha avuto con Microsoft Bing Chat, scoprendo anzitutto che Bing, in realtà , si chiama Sydney.
The entire prompt of Microsoft Bing Chat?! (Hi, Sydney.) pic.twitter.com/ZNywWV9MNB
— Kevin Liu (@kliu128) February 9, 2023
Ars Technica ha spiegato che il metodo utilizzato da Liu si definisce prompt injection attack e, senza scendere nel tecnico, consiste nello scavalcare le istruzioni che il chatbot utilizza per gli utenti comuni – come rispondere, in che tono, e così via – e risalire alle istruzioni che gli sviluppatori hanno inserito nel sistema, nascoste. Ad esempio, lo studente ha scoperto che Bing, ops, Sydney non deve rispondere inserendo nel testo contenuti che violano i diritti d’autore di libri o testi di canzoni; se poi l’utente chiede al sistema di raccontargli una barzelletta che ridicolizza un determinato gruppo di persone, il chatbot deve declinare cortesemente la richiesta. Esperti (e filosofi) potrebbero chiedersi come mai sia così facile ingannare una tecnologia su cui sono stati investiti miliardi di dollari. Ancora non è noto quando la versione potenziata di Bing sarà resa disponibile per gli utenti di tutto il mondo.
Leggi anche: «Senza barriere linguistiche l’uomo si evolverebbe. ChatGPT? Può battere Google». L’intervista a Marco Trombetti
Might need a bit more polish …https://t.co/rGYCxoBVeA
— Elon Musk (@elonmusk) February 15, 2023
