Pensato come un “amico virtuale” in grado di migliorare lo stato d’animo di chi lo usa, il sistema presenta «concreti rischi per i minori d’età»
Continua la diffidenza verso l’AI generativa e non: è la volta del chatbot Replika fermato dal nostro Garante della privacy. Il chatbot, dotato di una interfaccia scritta e vocale che basandosi sull’intelligenza artificiale genera un “amico virtuale”, per il momento non potrà usare i dati personali degli utenti italiani. «L’applicazione presenta infatti concreti rischi per i minori d’età, a partire dalla proposizione ad essi di risposte assolutamente inidonee al loro grado di sviluppo», precisa la nota.
L’amico virtuale, presentato come in grado di migliorare il benessere emotivo dell’utente, aiuterebbe l’utente a comprendere i propri pensieri e calmare l’ansia, attraverso la gestione dello stress, la socializzazione e la ricerca dell’amore, ha caratteristiche che, intervenendo sull’umore della persona, possono accrescere i rischi per i soggetti ancora in una fase di sviluppo o in stato di fragilità emotiva. Manca tuttavia, come sottolinea l’Autorità, un meccanismo di verifica dell’età: filtri per i minori, ma anche blocchi dell’app di fronte a dichiarazioni in cui l’utente espliciti la propria minore età. Durante la fase di creazione di un account la piattaforma si limita a richiedere solo nome, e-mail e genere. E le risposte da parte del chatbot risultano spesso palesemente in contrasto con le tutele rafforzate che vanno assicurate ai minori e a tutti i soggetti più fragili.
La storia di Replika
L’app Replika si presenta come una chat, si tratta di un algoritmo programmato per “comprendere” i nostri sentimenti e favorire il benessere emotivo. Nello specifico Replika rientra in quella branca dell’intelligenza artificiale definita “affective computing”. Si tratta di chatbot emozionali, capaci in qualche modo di replicare sentimenti ed empatia tipici degli esseri umani. Replika è stato creato nel 2017 dall’informatica Eugenia Kuyda, che decise così di colmare il vuoto lasciato dall’improvvisa morte del suo migliore amico, Roman Mazurenko, investito da un’auto a Mosca. Inserendo in una rete neurale i messaggi che scambiava con lui da anni, Eugenia Kuyda ha avuto la sensazione di continuare a dialogare con l’amico defunto. Replika fa ricorso al modello di linguaggio ChatGPT-3, con l’aggiunta emozionale.
Oggi Replika, che ricordiamo fa parte di una startup di intelligenza artificiale di nome Luka Inc con sede a San Francisco, offre ai clienti avatar personalizzati che parlano e ascoltano. Le entrate mensili sono di circa 2 milioni di dollari grazie alla vendita di funzioni bonus come le chat vocali, e le versioni premium.
La decisione del Garante
Per il Garante della privacy «Replika viola il Regolamento europeo sulla privacy, non rispetta il principio di trasparenza ed effettua un trattamento di dati personali illecito, in quanto non può essere basato, anche solo implicitamente, su un contratto che il minorenne è incapace di concludere. La società sviluppatrice statunitense, Luka Inc, oltre a dover interrompere il trattamento dei dati degli utenti italiani, deve comunicare entro 20 giorni le misure intraprese in attuazione di quanto richiesto dal Garante, pena una sanzione fino a 20 milioni di euro o fino al 4% del fatturato globale annuo». Insomma, troppi i rischi per i minori e le persone emotivamente fragili. Al momento in cui questo articolo è stato scritto, l’app e il sito non risultano raggiungibili dall’Italia.
