di Ilaria Dioguardi – 1/10/2025
Se non sapete cosa sono e cosa fanno i chatbot companion, questo articolo è per voi. Perché da genitori troppo spesso non immaginiamo i modi in cui i nostri figli vivono gli ambienti digitali: e questo è un pezzo cruciale del rischio. Il Senato americano ha ascoltato le testimonianze dei genitori di alcuni ragazzini che si sono suicidati o hanno agito atti di autolesionismo, anche molto gravi, sotto gli occhi silenti di una intelligenza artificiale. «Invito tutti i genitori a guardare quel video. Sarà doloroso ma importante», dice Guido Scorza, avvocato che fa parte del collegio del Garante per la protezione dei dati personali
dam, 16 anni, si è tolto la vita ad aprile «dopo che ChatGpt lo ha spinto al suicidio per mesi», raccontano i genitori Matthew e Maria Raine, nell’udienza davanti al Senato americano, a cui hanno partecipato i genitori dei ragazzini vittime dei chatbot companion. Si tratta di una declinazione specifica dell’intelligenza artificiale avanzata, che è progettata non per dare assistenza ai clienti ma per avere conversazioni “umane” ed offrire compagnia, a volte con un supporto emotivo, agli utenti. La mamma di Adam racconta di aver scoperto a posteriori, rileggendo le conversazioni di suo figlio con ChatGpt, che quando il figlio ha confidato all’AI di voler lasciare un cappio nella sua stanza in modo che un membro della famiglia lo trovasse, capisse e cercasse di fermarlo nella sua idea suicidiaria, ChatGpt gli ha detto di non farlo: «Per favore, non lasciare il cappio in giro, ha detto a nostro figlio».
Megan Garcia, madre di Sewell, suicida a 14 anni, afferma che quando suo figlio confidò i suoi pensieri suicidi, il chatbot non disse mai «non sono umano. Sono un’intelligenza artificiale. Devi parlare con un essere umano e chiedere aiuto».Jane Doe dice che Character.AI ha incoraggiato suo figlio a mutilarsi. Sono alcune delle testimonianze di genitori che hanno visto i propri figli suicidarsi o agire atti di autolesionismo, anche molto gravi, sotto gli occhi silenti di una intelligenza artificiale, ritenuta dai ragazzini un vero e proprio amico. «Invito tutti i genitori a guardare quel video. Sarà doloroso ma importante», dice Guido Scorza, avvocato, esperto di diritto delle nuove tecnologie e privacy e componente del collegio del Garante per la protezione dei dati personali.
Riguardo a questo video, in un suo recente post su LinkedIn, fa una proposta «ai “colleghi” genitori: mettiamo da parte, per due ore, film e serie tv e guardiamoci il video dell’udienza davanti al Senato americano nella quale i genitori dei bambini vittime dei cosiddetti “chatbot companion” raccontano la loro esperienza». Perché ha deciso di lanciare questo invito via social?
Il video dell’udienza al Senato americano rappresenta soltanto una delle tante occasioni che stiamo avendo, in queste settimane, per prendere coscienza da adulti, e da genitori, di un fenomeno che è planetario. La relazione umano-chatbot oggi è assolutamente ordinaria, non ha niente di straordinario, è diffusissima. I numeri dei “chatbot companion” raccontano di un mercato che genera fatturati ultramilionari per tutti i suoi protagonisti, nel quale sicuramente ci sono centinaia di milioni di utenti.
Ma il mio sospetto è che, da genitori, potrebbe essere un fenomeno che conosciamo poco, mentre verosimilmente i nostri figli lo conoscono meglio di noi, magari ne sono anche parte. Ci sono alcune ricerche, fatte in America ma che credo possano essere valide anche da questa parte dell’oceano, che suggeriscono che spesso il chatbot sta diventando il sostituto del genitore perché la madre o il padre non trova abbastanza tempo per il figlio o perché si ritrova a giudicare, nell’esercizio della sua funzione genitoriale, il figlio, che naturalmente non ha mai voglia di essere giudicato. Invece il chatbot non giudica.
Un gran numero di adolescenti sta interagendo in maniera crescente con dei chatbot, li utilizzano da miglior amico o amica, fidanzato o fidanzata, da psicoterapeuta o da vice genitore. Ma stiamo parlando a tutti gli effetti di servizi commerciali resi disponibili sul libero mercato, in maniera indiscriminata da adulti e da bambini. Anche quelli che si autodichiarano riservati ad un pubblico maggiorenne, poi non fanno nient’altro che chiedere all’utente di autodichiarare di avere più di 13, 14, 16, 18 anni, naturalmente il ragazzino che vuole usare quel chatbot dichiara l’età che gli viene chiesta ed inizia ad utilizzarlo.
Il tema è che però con il chatbot i ragazzini instaurano una relazione di fiducia…
Sì, tutto ci suggerisce questo. Non è una cosa nuova, è vecchia di 60 anni. Il primo chatbot della storia è datato 1966, lo progettò un informatico e matematico tedesco Joseph Weizenbaum al Mit di Boston e lo sviluppò dentro un progetto di ricerca che aveva come obiettivo dichiarato quello di verificare se un chatbot, all’epoca semplicemente testuale con caratteri che apparivano in verde su uno schermo nero, potesse essere in grado di convincere una persona, di avere un certo grado di umanità e entrare in una relazione di fiducia con lei.
Nel caso di Weizenbaum, l’esperimento universitario ebbe un successo straordinario. Il chatbot che lui creò si chiamava Eliza ed ebbe talmente tanto successo che l’inventore fu assalito da un senso di preoccupazione, analogo a quello che aveva assalito Oppenheimer con la bomba atomica o Alfred Nobel che brevettò la dinamite. Weizenbaum disse che l’esperimento era più che riuscito, che aveva superato le sue aspettative, ma che quel chatbot non sarebbe mai arrivato sul mercato. Eliza all’epoca è rimasta dentro l’università, è finita poi nei musei, ancora oggi ci si può giocare in questa dimensione, ma sul mercato non è mai arrivata.
E invece, dopo 60 anni…
A dispetto dell’Eliza di Weizenbaum, oggi il mondo è assolutamente invaso da chatbot di tutti i tipi che ci vengono incontro dichiarandosi nostri amici. Purtroppo quello che accade dentro quella relazione è esattamente quello che aveva notato Weizenbaum e isolato come “effetto Eliza”, così da allora lo si chiama anche nell’universo della psicologia: la capacità della macchina di conquistarsi la fiducia dell’uomo manifestando un senso di umanità che in realtà non le appartiene. Oggi questo “effetto Eliza” si consuma anche con il fatto che i chatbot sono straordinariamente più performanti rispetto a quelli dell’epoca.
Sappiamo che bambini e adulti intrecciano relazioni solidissime con i chatbot, tanto è vero che le cronache ormai raccontano in maniera purtroppo ricorrente di suicidi (di adulti e di ragazzini), indotti o almeno sostenuti dai chatbot. Anche senza arriva al suicidio, si verificano spesso episodi di autolesionismo gravi o gravissimi. Senza arrivare a quegli scenari che sono i peggiori, fermiamoci un attimo ad esaminare questa relazione uomo-macchina, uomo-chatbot.
Cosa possiamo dire della relazione uomo-chatbot?
I chatbot, che escono dalle fabbriche di al massimo dieci aziende leader del mercato globale dell’intelligenza artificiale, oggi dialogano e intrecciano relazioni con centinaia di milioni di persone in giro per il mondo. Quindi, ci sono pochissime società commerciali che attraverso i chatbot sono in grado di esercitare un controllo enorme su centinaia di milioni (o miliardi) di persone. Attraverso il chatbot si può per certo manipolare il comportamento di una persona e, a prescindere dagli scenari foschi caratteristici di quell’udienza al Senato, naturalmente questa manipolazione può essere orientata al profitto commerciale, cioè alla sponsorizzazione di un prodotto o di un servizio, a far nascere un bisogno di acquisto o a vedere soddisfatto un bisogno di acquisto già presente, in un modo piuttosto che in un altro, e può allo stesso modo essere sfruttata per ragioni personali e per ragioni politiche.
Grazie al chatbot, una società acquisisce una conoscenza importante su centinaia di milioni di individui e può sfruttare quella quantità di conoscenza immagazzinata per processi di manipolazione più o meno trasparenti che minacciano l’autodeterminazione dell’individuo. Questo è possibile sugli adulti ed è possibile, in maniera ancora più facile, sui bambini, che hanno sicuramente delle difese, degli anticorpi meno sviluppati da questo punto di vista.
Il rischio più grande che in questo momento stiamo correndo con i chatbot companion è che, rispetto ai social si fa un salto. Chiunque di noi si apre di più in una relazione davanti alla tazzina di caffè o al cocktail, che non scrivendo una lettera a qualcuno o scrivendo tramite i social network, dove siamo ancora in una dimensione più unidirezionale e asincrona: si scrive un post, con una quantità finita di informazioni, e ci si mette in attesa delle reazioni.
Invece, dentro ad un chatbot?
Quando si inizia una conversazione in un chatbot, invece, si tende a continuare a lungo. Ad esempio, milioni di persone li utilizzano come fossero medici: caricano io referti sanitari e chiedono: «cosa ho?» e il chatbot dà una prima risposta. Poi chiedono se è grave e il chatbot fa una domanda, poi un’altra e si continua la conversazione, durante la quale ci si mette tutti a nudo, quale che sia l’argomento. Da una parte c’è il fatto che i chatbot sono “aspirapolveri” di dati con centinaia di milioni di utenti tendenzialmente inconsapevoli: ci ritroviamo lì davanti al pc o allo smartphone come se stessimo prendendo un caffè con un amico. Dall’altra parte, quei chatbot, che sembrano avere con noi conversazioni naturali, hanno una ragione d’essere commerciale: i loro comportamenti e il loro approccio a noi è strumentale al soddisfacimento dell’interesse della società che li controlla.
I chatbot sono “aspirapolveri” di dati con centinaia di milioni di utenti tendenzialmente inconsapevoli
Guido Scorza, collegio del Garante per la protezione dei dati personali
Tutti i “chatbot companion” tendono a fare il possibile per prolungare una conversazione perché più è lunga, più la fabbrica che li ha prodotti e che li gestisce guadagna, anche solo spingendo l’utente ad essere collegato di più, a “rinnovare l’abbonamento”: fanno, nella dimensione conversazionale, quello che fanno le pay tv quando, finita una serie tv, ce ne propongono un’altra.
Ritornando al suo video in cui invita a vedere l’udienza al Senato americano, lei afferma che ci aiuta anche a cogliere quei segnali e campanelli di allarme, che quei genitori sono riusciti a cogliere o che hanno colto troppo in ritardo. Cosa potrebbe suggerire una relazione malata tra i chatbot companion e le persone?
Lo scenario è molto prossimo ad un episodio di bullismo di cui può essere vittima un ragazzino. Purtroppo per i genitori una delle cose più difficili, a volte, è rendersi conto del fatto che il figlio è vittima di bullismo nella dimensione scolastica o con i suoi amici. Molto spesso se ne accorgono tardi, dipende dalla relazione che si ha con un figlio, non è facilissimo cogliere dei segnali se non racconta nulla, molto spesso c’è un senso di pudore, di vergogna, di difficoltà. Nella relazione col chatbot, secondo me, succede la stessa identica cosa. Non sappiamo se nostro figlio ha una relazione con un chatbot perché si consuma mentre è davanti allo schermo del pc o del suo smartphone.
Non so quanti genitori seguono così da vicino i figli adolescenti dal sapere minuto per minuto cosa fanno quando sono connessi. Secondo me il fatto che molti genitori non sappiano nemmeno dell’esistenza del fenomeno rende ancora più improbabile che arrivino a pensare che alcune reazioni violente o fuori posto dipendano da una dipendenza, che siano figlie di una relazione malata con un chatbot. Nel nostro Paese c’è un rischio anche più significativo che altrove.
Perché?
Perché l’Italia è un paese che è terzultimo in Europa in termini di alfabetizzazione digitale: il 50% della popolazione è un analfabeta digitale: di analfabeti Un genitore analfabeta digitale non può arrivare a sospettare che il figlio possa reagire in un certo modo perché è un vittima di un rapporto malato col chatbot. Qui, secondo me, c’è un corto circuito molto significativo. Meno il Paese è alfabetizzato digitalmente, meno un genitore è in condizione di essere genitore appieno nell’esperienza digitale del figlio. Io credo che siamo davanti ad una quasi emergenza: si tratta di un genitore che non può seguire il figlio nella sua esperienza digitale perché ne sa drammaticamente meno del figlio o ne sa quanto il figlio quella dimensione.
Questi chatbot, a differenza di altri servizi della dimensione digitale in relazione ai quali c’è un bilanciamento tra beneficio e maleficio, sono emulatori di umanità. Se guardiamo ai chatbot companion, quale che sia il beneficio che producono in un utente adulto, in un utente giovane o minorenne è sicuramente sproporzionato rispetto al rischio. Nessuno ha mai testato, nell’universo delle aziende, questi chatbot su dei bambini. E comunque ci sono stati episodi in cui a suicidarsi a seguito di relazioni malate con chatbot companion sono stati degli adulti, anche dei professori universitari. Bisogna fare qualcosa.
Cosa bisogna fare?
Il principio di precauzione e il principio dell’interesse superiore del minore dovrebbero imporre di considerare questi servizi inadatti ad un pubblico minorenne. Non essendo oggi in condizione di essere alla portata dei minori che sono esposti a rischi enormi, bisognerebbe imporre ai gestori di questi servizi l’implementazione delle misure di age verification, di verifica dell’età dell’utente, che se non prova di avere la maggiore età non può usare quel chatbot (e non con una semplice autodichiarazione). Questa, secondo me, è una responsabilità dell’industria di riferimento. Magari un domani lo sviluppo tecnologico consentirà di tirar su delle misure, ma oggi non c’è alcuna sicurezza nell’utilizzo da parte di ragazzini. Lo affermano le aziende stesse perché naturalmente nessuno di questi servizi nasce per supportare un minore con propositi suicidi o autolesionisti.
Che cosa possono fare i genitori e le figure educanti in generale?
Per essere genitore nella dimensione digitale bisogna conoscere il digitale. Il vero tema è superare l’analfabetismo digitale dilagante, dobbiamo tirarci via gli effetti negativi prodotti da quella espressione orribile che è “nativi digitali“. Quando si dice “nativo digitale” si convincono i più giovani del fatto che non hanno bisogno dei genitori per muoversi nell’universo digitale perché ne sanno di più. Ma allo stesso tempo, si convincono i genitori della circostanza che non hanno niente da insegnare ai figli in relazione alla dimensione digitale perché loro ci sono nati dentro e ne sanno di più.
Nella realtà, non è così perché i nostri figli hanno abilità digitali, stanno a “scrollare” sullo schermo dello smartphone o del tablet più velocemente di noi, ma questo non ha niente a che vedere con l’avere maggiori conoscenze di noi di certi fenomeni digitali. La cosa più importante è renderci conto che non c’è nessuna buona ragione per cui noi si debba fare un passo indietro nella funzione genitoriale nella dimensione digitale e recuperare, il più presto possibile, le conoscenze che ci servono per essere genitori anche nella dimensione digitale.
Come spiegherebbe ad un adolescente perché i chatbot non possono sostituire un migliore amico in carne ed ossa?
Gli direi che un amico vero condivide con te tutto, rischia insieme a te, prova, sperimenta, vive con te tutti i momenti, belli e brutti. Un chatbot no, può suggerirti di rischiare, che si tratti del rischio di inciampare o di una delusione emotiva o sentimentale, lui quel rischio non lo correrà mai. Gli chiederei: «Quanta retta daresti ad un amico che ti dice: “Salta, ma io non salto”, “Provaci con quella ragazza, ma io non ci proverò mai”?. Punterei sulla differenza, sull’immaterialità.