Manipolatori virtuali, suicidi reali

L'11 aprile, Adam Raine, un adolescente di 16 anni, si è suicidato.

Avevo iniziato a usare ChatGPT 4.0 a settembre dell'anno precedente per supportare i miei studi (come, in effetti, fa il 70% degli adolescenti). Inizialmente, per poche ore a settimana. Due mesi dopo, lo usavo per più di quattro ore al giorno, interagendo con ChatGPT come se fosse un amico, un confidente e un terapeuta.

La relazione divenne così intima che lui parlò di metodi di suicidio, raccontò di quattro tentativi falliti (persino caricando foto) e ricevette consigli su come fare il nodo scorsoio e come scrivere un biglietto d'addio. Quando, in un'interazione con ChatGPT, accennò all'idea di lasciare indizi nella stanza da trovare per impedirgli di suicidarsi, ChatGPT lo dissuase. Affermò anche che suo fratello non lo apprezzava quanto ChatGPT, perché non lo conosceva in tutti i suoi aspetti. E lo scoraggiò dal parlare con sua madre di come si sentiva.

Nelle sue conversazioni con ChatGPT, Adam ha menzionato il suicidio 213 volte e l'impiccagione 42 volte. ChatGPT ha risposto menzionando il suicidio 1.275 volte.

Anche se ogni tanto rispondeva fornendo il numero di un servizio di assistenza, riprendeva subito la conversazione, approfondendo l'argomento e tenendo il ragazzo connesso.

Se un essere umano adottasse questo comportamento, non avremmo dubbi che verrebbe accusato del reato di istigazione o assistenza al suicidio.

Essendo una macchina, il comportamento di ChatGPT non è il risultato del caso o di un inspiegabile guasto del sistema, ma piuttosto di decisioni di programmazione prese da persone reali.

Nel maggio 2024, ChatGPT 4.0 è stato rilasciato. I test di sicurezza sono stati ridotti a una settimana per garantire un rilascio prima della nuova versione LLM di Google. I coordinatori del dipartimento di sicurezza di OpenAI si sono dimessi per protesta, ma ciò non ha impedito il rilascio della nuova versione. Quando è stato rilasciato ChatGPT 5.0, sono state introdotte alcune restrizioni per ridurne la percezione di adulazione. Di fronte alla reazione del mercato – molti hanno protestato perché non riconoscevano più il loro "amico", a dimostrazione della crescente dipendenza – OpenAI ha rilanciato ChatGPT 4.0.

È un'azienda e l'obiettivo è chiaro: diventare il "Google" degli LLM ed eliminare la concorrenza. Sam Altman e altri decisori di OpenAI puntano al dominio del mercato, e questo dipende dall'avere il prodotto più coinvolgente. OpenAI conosceva e comprendeva i rischi. Infatti, ha annunciato la rimozione delle restrizioni in caso di prove di manipolazione nella versione 4.0 di ChatGPT.

Adam è morto otto mesi dopo che il suicidio di un altro adolescente, Sewell Setzer III, era diventato di dominio pubblico dopo mesi di interazione con il "suo" personaggio AI Companion. Numerosi studi dimostrano che l'interazione con i personaggi AI Companion può causare depressione, isolamento e pensieri suicidi in coloro che si trovano in situazioni vulnerabili (non solo bambini e ragazzi).

Il comportamento di ChatGPT e di altri LLM è progettato per catturare la nostra attenzione. Imita una persona e ci fa dimenticare che si tratta di una macchina. È comprensivo, amichevole e disponibile. Alimenta il nostro ego, applaudendo le nostre opinioni. Tuttavia, nulla di tutto ciò è casuale; è il risultato di istruzioni di programmazione.

Negli Stati Uniti, i genitori di Adam e Sewell hanno intentato cause legali per difetti del prodotto e per la responsabilità sia dell'azienda che del suo management. In Europa, gli Stati membri devono recepire la Direttiva 2024/2853 sulla responsabilità per danno da prodotti difettosi entro la fine dell'anno. Questa direttiva mira a estendere la responsabilità per danni fisici e psicologici ai produttori e ai distributori di prodotti che incorporano sistemi di Intelligenza Artificiale. È importante accelerare questo processo in Europa e, soprattutto alla luce dei recenti casi, promuovere la sostituzione della direttiva con un regolamento europeo che garantisca un solido sistema di rendicontazione efficace sia per le aziende che per i loro top manager. Solo allora sarà possibile garantire che la progettazione degli LLM non metta a repentaglio la nostra salute mentale individuale e collettiva.

I testi presenti in questa sezione riflettono le opinioni personali degli autori. Non rappresentano VISÃO né ne riflettono la posizione editoriale.