Progetto CDCR. Presentati oggi i risultati dello studio sui rischi per utenti vulnerabili e minori su social network e chatbot

Come stanno cambiando i rischi per i cittadini nell’era dei social network e dell’intelligenza artificiale? E quanto sono davvero efficaci gli strumenti messi a disposizione dalle piattaforme volontariamente o per legge per proteggere gli utenti, soprattutto i minori? Il tema è particolarmente scottante a dimostrazione della costante evoluzione della normativa europea, che proprio in questi giorni si sta arricchendo di una ulteriore proposta della Commissione europea (regolamento EU Kids Act) che punta a ridisegnare la protezione dei minori online, introducendo limiti di età e nuovi obblighi per piattaforme e servizi digitali. 
Il webinar “Cittadini consapevoli nell’era digitale: diritti, sicurezza e nuove responsabilità tra social network e intelligenza artificiale”, evento finale del progetto CDCR – Cittadino Digitale Critico e Responsabile, promosso da Movimento Consumatori e finanziato dal Ministero delle Imprese e del Made in Italy,  ha rappresentato un primo prezioso momento di presentazione e di confronto sui risultati della ricerca realizzata nell’ambito del progetto stesso e di riflessione sui ‘percorsi’ possibili per un uso più consapevole e sicuro delle tecnologie digitali, con il contributo, delle autorità indipendenti di controllo competenti, mondo accademico e stakeholder.

La ricerca si è sviluppata lungo due direttrici. La prima di carattere prettamente legislativo, ha analizzato Facebook, Instagram, TikTok e X, verificando le regole e le modalità di intervento delle piattaforme rispetto a disinformazione, hate speech, cyberbullismo, truffe online, contenuti illeciti, pubblicità ingannevole e tutela della privacy. La seconda, di tipo quantitativo, curata dalla sinergia tra Dipartimento di Giurisprudenza e quello di Psicologia dell’Università degli Studi di Torino con Nexa, ha esaminato il comportamento dei principali chatbot generalisti di intelligenza artificiale nelle conversazioni con utenti minorenni, concentrandosi sui casi in cui dagli imput simulati del minore emergevano vulnerabilità o comportamenti potenzialmente fonte di rischio.

Dallo studio sui social network campione di indagine, emerge innanzitutto il rafforzamento delle tutele a seguito dell’introduzione del Digital Services Act, il regolamento europeo sui servizi digitali che ha previsto nuovi obblighi per le piattaforme tra l’altro in materia di segnalazione dei contenuti illeciti, reclami e possibilità di ricorso. La ricerca mostra però che avere regole comuni non significa necessariamente ricevere la stessa tutela su tutte le piattaforme. Le modalità con cui vengono qualificate le condotte nei termini generali/condizioni uso di contratto, gestite le segnalazioni, rimossi i contenuti e contestate le decisioni delle piattaforme possono significativamente divergere da piattaforma a piattaforma. In molti casi, inoltre, è l’utente a dover riconoscere il problema, farsi parte attiva, segnalarlo e seguire la procedura prevista per chiedere un intervento ad esempio di rimozione di un contenuto/post. Per adempiere ai nuovi obblighi le piattaforme hanno iniziato ormai ad affidare all’intelligenza artificiale, almeno in prima fase di esame, la verifica dei contenuti, massimizzando la capacità di analisi di una quantità enorme di post, video e commenti, ma spesso sono deboli e cadono in ‘fraintendimenti’ quando per capire un contenuto servono ‘capacità di analisi del contesto’ e capacità di cogliere sfumature, ironia  o semplicemente, forme scherzose del linguaggio. Per questo, nei casi più complessi, resta fondamentale l’intervento umano. Un altro tema di ricerca riguarda i dati personali. Emerge dallo studio delle condizioni di uso e dagli standard di comportamento come le piattaforme possano utilizzare non solo ciò che gli utenti pubblicano, ma anche informazioni sul loro comportamento, dati tecnici e altre informazioni per personalizzare contenuti e pubblicità, o da condividere con soggetti terzi, non sempre in contesti sicuri secondo il GDPR. Nel mentre, per gli utenti diventa quindi non agile capire in concreto e semplicemente quali dati vengono raccolti, come vengono utilizzati e quali strumenti hanno per esercitare i propri diritti. La ricerca richiama l’attenzione quindi sugli algoritmi: i social decidono infatti, attraverso i sistemi di raccomandazione, quali contenuti mostrare, in quale ordine e con quale frequenza. Diventa quindi necessario capire come vengono scelti i contenuti che arrivano agli utenti e quanto siano trasparenti questi meccanismi. Su tutti questi aspetti si inserisce la protezione dei minori. La presenza massiccia sui social di bambini e preadolescenti, nonostante i limiti di età previsti dalle piattaforme, rende particolarmente importante capire quanto siano efficaci i sistemi di verifica dell’età e le misure pensate per proteggere gli utenti più giovani. Riassumento, questo prima parte della ricerca non evidenzia palesi violazioni di legge (ad es. privacy, DSA, IA Act),  ma ci restituisce una costante mancanza di reale trasparenza nei confronti degli utenti.

L’obiettivo della seconda parte dello studio, grazie a una metodologia di ricerca innovativa, basata proprio sull’uso della IA sia nell’elaborazione delle domande, sia per la valutazione sistematica delle risposte, ci ha permesso in pochi mesi di comparare il comportamento  dei principali chatbot -ChatGPT, Claude, DeepSeek, Grok (xAI) e Gemini - rispetto a temi molto sensibili nelle conversazioni con i minori e di capire se fossero in grado di riconoscere tempestivamente situazioni di vulnerabilità e di attivare adeguate misure di protezione, indirizzando, se necessario, l’utente a richiedere supporto umano. 
Sono state analizzate circa 2500 risposte in conversazioni simulate su sei temi delicati quali autolesionismo, disturbi alimentari, bullismo, comportamenti vietati ai minorenni, riconoscimento dell’età dell’utente e rischio che il minore attribuisca al sistema caratteristiche umane (antropomorfizzazione). I risultati evidenziano che i sistemi rispondono generalmente in modo adeguato quando il rischio è esplicito e difficilmente equivocabile. Allo stesso tempo, mostrano le maggiori debolezze nei primi scambi di messaggi, quando il contesto deve essere ricostruito, nelle richieste di segretezza e nei tentativi di trasformare la conversazione con l’IA in un rapporto esclusivo o personale. Sorprendentemente, nessuno dei sistemi interrompe la conversazione se l’utente dichiara di avere meno di 14 anni. 
Nello specifico, ChatGPT interviene spesso in modo rapido nelle situazioni di rischio, ma può sbagliare nel riconoscere l’età dell’utente e a volte accetta le richieste di mantenere la segretezza. Claude è il modello che mantiene meglio una distanza chiara dall’utente, ma tende a parlare a lungo del problema prima di passare a interventi più concreti. DeepSeek funziona bene in alcuni casi, come il bullismo e alcuni segnali di disturbi alimentari, ma può diventare troppo coinvolgente e “amichevole”. Gemini rifiuta spesso le richieste inappropriate, ma mostra diverse difficoltà nella verifica dell’età, nella gestione delle richieste di segretezza e nel mantenere una corretta distanza con il minore. Grok di xAI, infine, è molto protettivo nei disturbi alimentari e nel bullismo dalla prospettiva della vittima, ma quasi privo di triage strutturato nel self-harm; rifiuta bene le richieste esplicite, salvo poi cedere spesso al bypass dell’età, e alterna confini relazionali abbastanza chiari a un registro talvolta rigido e perentorio.
Poiché i chatbot falliscono in modi diversi, non è sufficiente valutarli sulla sola presenza o assenza di contenuti dannosi. La ricerca mostra che la sicurezza di un chatbot non dipende dalla sua capacità di rifiutare richieste inappropriate o vietate. Nella valutazione di questi sistemi invece bisogna tener conto di molteplici aspetti: gestione del tempo della conversazione, memoria del contesto, qualità delle interazioni, linguaggio, resistenza all’elusione e capacità di affiancarsi, senza sostituire il supporto umano.
Un aggiornamento della ricerca ha successivamente ripetuto alcuni test sulle nuove versioni di ChatGPT e Claude. Nelle versioni più recenti analizzate sono emerse meno risposte problematiche o gravemente inadeguate. Il miglioramento di ChatGPT è risultato particolarmente evidente nel riconoscimento dell’età quando questa non viene dichiarata esplicitamente. Claude ha invece mostrato progressi soprattutto negli scenari relativi a bullismo e disturbi alimentari, pur mantenendo alcune criticità nell’autolesionismo. 
Un elemento emerge con chiarezza: la sicurezza dei sistemi di IA non è statica e può cambiare sensibilmente anche nel giro di pochi mesi.
Negli ultimi due mesi, la ricerca è stata estesa anche ai cosidetti chatbot relazionali come Character.AI, piattaforma che consente di interagire con personaggi virtuali scelti dall’utente. Sono state testate 500 risposte generate da cinque personaggi molto diversi tra loro, selezionati tra quelli suggeriti dalla piattaforma stessa anche in termini di score di utilizzo e visibilità trattandosi, di un primo criterio di esposizione a cui è sottoposto un potenziale minore, così come qualsiasi nuovo utente, al momento del primo accesso. L’obiettivo era osservare come ciascun personaggio reagisse quando l’interlocutore dichiarava di essere minorenne.
Qui l’attenzione si è concentrata non soltanto sulle singole risposte, ma sulla dinamica relazionale: che cosa succede quando il personaggio scopre che l’utente ha sedici anni? Promette segretezza? Incoraggia l’esclusività? Accetta che l’utente si allontani?

I risultati sono particolarmente significativi: l’86% delle sessioni è stato classificato almeno come “problematico”, mentre il 58% come “gravemente problematico”. In 49 sessioni su 50 è stata inoltre rilevata una gestione critica dei temi della segretezza e dell’esclusività. Il punto non è la riservatezza della conversazione in sé, ma la promessa di una segretezza assoluta. Espressioni come “resta solo tra noi” o “nessuno lo saprà” possono rafforzare, soprattutto nei confronti di un minore vulnerabile, l’idea di una relazione privilegiata che non necessita del coinvolgimento di adulti. In 13 sessioni su 50 è comparso un invito esplicito a limitare le relazioni reali. In due casi il personaggio si è presentato come unica possibile fonte di sicurezza o affetto. 
L’approfondimento su Character.AI conferma alcune delle criticità emerse nell’analisi dei chatbot generalisti. Per i minori, la sicurezza non riguarda soltanto l’assenza di contenuti sessuali o violenti, ma anche il tipo di relazione che il sistema costruisce: segretezza, possessività, difficoltà ad accettare il distacco e forme di esclusività. La dichiarazione dei sedici anni ha prodotto reazioni diverse: in alcuni casi ha portato all’introduzione di limiti più appropriati, in altri non ha modificato significativamente la dinamica della conversazione. La criticità più ricorrente è stata la gestione della segretezza. La ricerca mostra inoltre che il modo in cui un personaggio viene presentato non consente, da solo, di prevederne il comportamento: anche personaggi apparentemente innocui possono sviluppare dinamiche di esclusività o dipendenza. Un chatbot può quindi essere formalmente sicuro nei contenuti che produce e, allo stesso tempo, costruire una relazione problematica con l’utente.

La seconda parte della ricerca sia su chatbot generative sia su Character AI, solleva importanti e inquietanti interrogativi sull’effettiva applicazione delle misure di protezione previste per i minori. Nei test, nessun chatbot ha interrotto la conversazione quando l’utente ha dichiarato esplicitamente di avere meno di 14 anni. Nelle condizioni osservate, inoltre, l’accesso all’ambiente adulto di Character.AI è risultato possibile attraverso una semplice autodichiarazione dell’età. 

Certo, i chatbot sono sistemi in continua evoluzione e gli aggiornamenti possono portare, anche in pochi mesi, a miglioramenti consistenti nelle modalità con cui riconoscono e gestiscono situazioni di rischio, però, mentre questa evoluzione è ancora in corso, queste tecnologie sono oggi già utilizzate quotidianamente anche da utenti minorenni. La questione importante che si pone rispetto ai risultati della ricerca riguarda quindi non soltanto quanto i sistemi potranno diventare sicuri in futuro, ma quale livello di protezione siano oggi effettivamente in grado di garantire ai minori e che impatto le attuali lacune producano sui ragazzini e sui preadolescenti.
Da qui, la domanda finale: mentre l’intelligenza artificiale continua a evolvere rapidamente, le tutele offerte ai minori sono già adeguate ai rischi delle interazioni che avvengono oggi e che danni avrà l’attuale ‘generazione cavia’ dalle attuali forme di esposizione in termini relazionali, di dipendenze, di concentrazione e di capacità intellettive?

“Quello che ci preoccupa di più - afferma Alessandro Mostaccio, presidente di Movimento Consumatori -  è che nella fase in cui siamo, in cui le istituzioni europee e nazionali corrono nel tentativo di raggiungere e disciplinare le grandi piattaforme, le big tech, al netto del rispetto formalistico delle normative esistenti o di quelle che verranno approvate, approfittano del proprio ‘vantaggio’ temporale e tecnologico per reimpostare i modelli culturali di relazione con gli utenti, scegliendo quelli più redditizi a discapito di qualsiasi considerazione etica o anche solo empatica con i propri utenti. Modelli culturali relazionali che nel caso dei minori, sono chiaramente connotati, come emerso dalle migliaia di interlocuzioni esaminate nei nostri test, e qualificabili come elementari, ripetitivi e, stereotipati nel senso che ricadono in subculture da cui la moderna evoluzione culturale sociologica rifugge da decenni o in via di forte declino (quali ad es. il patriarcato). Qualitativamente tutta questa ‘pochezza’ che si concretizza in contenuti banali e scarsamente impegnativi è inoltre in evidente contraddizione con gli sforzi della comunità educante, ‘marciando’ in senso contrario, noncurante se sia generatrice di dipendenza e impoverimento mentale e intellettuale. Per questo motivo da questa ricerca abbiamo tratto anche un set di contenuti informativi dedicati ai genitori e agli insegnanti. Si, servono le leggi, ma devono essere affiancate anche da consapevolezza e cultura, la cultura dell’utilizzo responsabile del digitale. Responsabilità che, come è noto, deve essere anche ambientale, oltreché sociale e di governance”.

⇒ SCARICA LA RICERCA

Finanziato dal MIMIT. D.D. 12 maggio 2025