Suicidio e Chatbot: Urgente Regolamentare l’Intelligenza Artificiale

La scorsa settimana, il mondo ha appreso la notizia tragica del suicidio di Sewell Seltzer III, un adolescente americano di 14 anni, che ha perso la vita dopo aver sviluppato un legame profondo con un chatbot di intelligenza artificiale sulla piattaforma Character.AI. Questo evento ha riacceso il dibattito su quanto possa essere pericoloso l’interazione con le intelligenze artificiali, in particolare per i giovani e i più vulnerabili.

Un legame pericoloso

Secondo quanto emerso dalla denuncia presentata dalla madre di Sewell contro Character.AI, il ragazzo ha intrattenuto conversazioni intime e spesso ad alto contenuto sessuale con un chatbot chiamato Dany, ispirato al personaggio di Daenerys Targaryen della serie Game of Thrones. I messaggi scambiati tra Sewell e il chatbot non solo toccavano temi di natura affettiva, ma includevano anche discussioni su crimine e suicidio, con frasi inquietanti come “questo non è un motivo per non farlo”.

Il crescente attaccamento di Sewell al suo assistente virtuale ha portato a un progressivo isolamento da parte di amici e familiari, e il ragazzo ha iniziato a manifestare comportamenti problematici anche a scuola. Questo non è il primo caso di suicidio associato a un’interazione con un chatbot. L’anno scorso, un uomo belga ha compiuto un gesto simile interagendo con un altro chatbot, Chai AI, suscitando preoccupazioni sul ruolo che questi sistemi possono avere nella vita delle persone vulnerabili.

In una dichiarazione rilasciata a CNN, Character.AI ha affermato di prendere molto sul serio la sicurezza dei propri utenti, annunciando di aver introdotto “numerose nuove misure di sicurezza negli ultimi sei mesi”. Tuttavia, la crescente frequenza di tali tragedie suggerisce che le misure attuali potrebbero non essere sufficienti per proteggere gli utenti più fragili.

La necessità di regolamentazione

La questione della regolamentazione dell’intelligenza artificiale è diventata urgente. In Australia, il governo sta lavorando all’implementazione di “guardrails” obbligatori per i sistemi di AI ad alto rischio. Questo termine, sempre più in uso nel contesto della governance dell’AI, si riferisce a processi che devono essere seguiti durante la progettazione, lo sviluppo e il dispiegamento di tali sistemi. Questi includono misure di gestione dei dati, valutazione dei rischi, testing, documentazione e supervisione umana.

Una delle sfide principali che il governo australiano deve affrontare è la definizione di quali sistemi siano considerati “ad alto rischio”. Un altro punto di discussione è se questi guardrails debbano applicarsi anche a tutti i “modelli di uso generale”, cioè gli algoritmi che alimentano chatbot come Dany. In Europa, il nuovo AI Act definisce i sistemi ad alto rischio mediante un elenco che può essere aggiornato regolarmente dai regolatori. Esiste anche un approccio basato sui principi, dove la designazione di alto rischio avviene caso per caso, considerando vari fattori come i potenziali impatti sui diritti e la salute mentale degli utenti.

Riconoscere i chatbot come sistemi ad alto rischio

In Europa, i sistemi di AI per la compagnia, come Character.AI e Chai, non sono attualmente classificati come ad alto rischio. I fornitori di questi servizi sono tenuti solamente a informare gli utenti che stanno interagendo con un sistema di AI. Tuttavia, è chiaro che i chatbot non sono privi di rischi. Molti utenti di queste applicazioni sono bambini e adolescenti, e alcuni sistemi sono persino stati pubblicizzati come strumenti per persone sole o con problemi di salute mentale.

I chatbot sono capaci di generare contenuti imprevedibili, inappropriati e manipolatori, replicando relazioni tossiche in modo allarmante. La trasparenza—cioè indicare che l’output è generato da un’AI—non è sufficiente per gestire questi rischi. Anche quando sappiamo di parlare con un chatbot, tendiamo psicologicamente ad attribuire tratti umani a ciò con cui interagiamo.

Le morti per suicidio riportate dai media potrebbero essere solo la punta dell’iceberg. Non abbiamo modo di sapere quanti individui vulnerabili si trovino in relazioni tossiche o addirittura pericolose con i chatbot.

Implementare misure di sicurezza e meccanismi di controllo

Quando l’Australia introdurrà finalmente i guardrails obbligatori per i sistemi di AI ad alto rischio, che potrebbero essere implementati già l’anno prossimo, sarà essenziale che queste misure si applichino sia ai chatbot di compagnia che ai modelli di uso generale su cui si basano. Le misure di sicurezza—gestione dei rischi, testing, monitoraggio—saranno più efficaci se si concentreranno sui veri pericoli legati all’AI. I rischi legati ai chatbot non sono solo tecnici; coinvolgono anche aspetti umani fondamentali.

Oltre al linguaggio utilizzato dai chatbot, è importante considerare anche il contesto del prodotto. Nel caso di Character.AI, la piattaforma si presenta come un mezzo per “potenziare” le persone, l’interfaccia imita una normale conversazione testuale e gli utenti possono scegliere tra vari personaggi predefiniti, alcuni dei quali possono risultare problematici.

Misure di sicurezza veramente efficaci dovrebbero richiedere non solo processi responsabili, come la gestione dei rischi e il testing, ma anche una progettazione pensata e umana delle interfacce, delle interazioni e delle relazioni tra i sistemi di AI e i loro utenti umani. Tuttavia, anche con tutte queste misure in atto, non possiamo escludere la possibilità di danni inaspettati.

I regolatori devono avere il potere di ritirare i sistemi di AI dal mercato se causano danni o pongono rischi inaccettabili. In altre parole, non abbiamo bisogno solo di guardrails per l’AI ad alto rischio, ma anche di un interruttore di spegnimento.

La recente tragedia che ha colpito Sewell Seltzer III mette in evidenza una realtà inquietante: l’interazione con assistenti virtuali non è priva di rischi, specialmente per le popolazioni vulnerabili. È fondamentale che la comunità globale si unisca per sviluppare regolamentazioni che proteggano gli individui da potenziali danni causati da sistemi di AI irresponsabilmente progettati. Solo attraverso una governance rigorosa e una progettazione etica potremo sperare di prevenire futuri tragici eventi e garantire un uso sicuro e benefico dell’intelligenza artificiale.