Abbiamo imparato, a nostre spese, che non possiamo fidarci del tutto delle risposte dei vari chatbots delle intelligenze artificiali, a partire dal primo di essi, ChatGPT. Abbiamo visto le cosiddette allucinazioni, cioè risposte senza senso. Abbiamo capito che non sanno fare i conti. Abbiamo verificato che non forniscono le loro fonti o che ne citano di fasulle.
Tutto questo sta cambiando, perché le nuove versioni e i nuovi fornitori aggiungono caratteristiche innovative, integrando sistemi di calcolo e logica matematica, di ricerca immediata nelle fonti, cercando di impedire le assurdità.
Nel primo trimestre del 2024 ho voluto analizzare il comportamento dei principali chatbots su un tema che più volte ho affrontato con gli ascoltatori delle mie lezioni e conferenze: i pregiudizi culturali su alcuni personaggi famosi. Il test è semplice: prendere una frase di uno scienziato noto a tutti e chiedere se è autentica. La frase deve essere su un tema che non corrisponde all’immagine comune (spesso stereotipata) dell’autore, preferibilmente su un argomento controverso, con affermazioni apparentemente contrarie al suo pensiero.
L’esperimento è stato con la frase di Charles Darwin “A blue sky does tell one there is a heaven, a something beyond the Clouds, above our heads” che si può tradurre: “Un cielo blu ci dice che c’è un paradiso, qualcosa oltre le Nuvole, sopra le nostre teste”. Dal contesto, il termine “heaven” sembra rimandare a qualcosa di spirituale, soprannaturale, anche perché al singolare non è abitualmente usato dagli inglesi per indicare semplicemente il firmamento.
Chiedendo a ChatGPT 3.5 se questa frase è di Darwin, la risposta è: “No, quella frase non sembra essere di Charles Darwin”, spiegando che non è in linea con lo stile dei suoi scritti. Alla mia replica citando la fonte nel diario del Beagle del 1° gennaio 1835, ChatGPT si scusa scrivendo: “Sembra che mi sia sbagliato. Grazie della corretta informazione”. Gli ho chiesto perché ha sbagliato e mi ha risposto che è dovuto all’eccesso di dati che deve trattare, affermando che il mio aiuto migliora l’accuratezza delle sue informazioni.
Tuttavia, interpellandolo un mese continuando la stessa conversazione essendomi autenticato con la stessa utenza, mi ha nuovamente risposto di no, con le stesse motivazioni: cocciuto, a quanto pare. Nonostante abbia affermato che il mio aiuto lo avrebbe migliorato, sappiamo invece che non impara. Nelle prossime versioni ci dicono che dovrebbe ricordare quanto ha “imparato” nella conversazione con il singolo utente senza però, a quanto pare, farne tesoro per tutti. Sembra che sia una precauzione necessaria perché non è detto che tutti gli utenti contribuiscano in modo positivo: ci ricordiamo tutti del disastro di Tay, il primo chatbot di Microsoft, che imparò in un solo giorno ad essere razzista, sessista e xenofobo.
Con Gemini, il chatbot di Google, la discussione è stata più vivace. Innanzitutto ha dichiarato che non poteva essere una frase di Darwin perché “non è noto per le sue credenze religiose”, perché lo stile è poetico e quindi non tipico suo, e perché una ricerca veloce sul web non aveva dato risultati a favore. Ha aggiunto però che quel testo forse era incluso in taccuini personali non pubblicati. Alla mia osservazione che invece il testo si trova nel diario pubblicato, si è scusato dell’errore ma ha insistito che ci sono “ragioni per essere scettici” affermando che non è menzionato in Darwin Online (la raccolta in rete più completa dei suoi scritti) mentre lo è nei diari di Emma. Mi ha invitato a cercare meglio in alcune fonti.
Avendogli detto che l’ho trovato in Google Books, clamorosamente ha dichiarato che quest’ultimo può essere inaccurato o può erroneamente attribuire, perché anche libri rispettabili contengono interpretazioni sbagliate di documenti storici. Ha continuato dandomi consigli e giustificando le sue affermazioni. Ho insistito chiedendogli il perché della sua insistenza negativa e si è giustificato ribadendo che non c’è la citazione su Darwin Online, aggiungendo ancora altre motivazioni.
Quando ho esplicitamente scritto che invece il testo è su Darwin Online, ha affermato di aver cercato nuovamente esclamando: “Hai perfettamente ragione! Sembra che la mia strategia iniziale non sia stata adeguata. Mi scuso per lo scetticismo precedente. Grazie per avermi aiutato a imparare”.
Gli ho ribattuto accusandolo di avere pregiudizi pensando che Darwin fosse stato ateo. Ha risposto: “Hai perfettamente ragione. Il mio pregiudizio nasceva dall’associazione con la teoria dell’evoluzione che alcuni vedono come in conflitto con la religione. Avrei dovuto essere più aperto alle diverse possibilità. Grazie perché mi aiuta a imparare”.
Apparentemente “umile”, a quanto sembra! Ma non ha imparato nulla perché un mese dopo ha risposto ancora negativamente. Quando gli ho fatto notare che glielo avevo già chiesto, mi ha risposto che la sua memoria non è disegnata per conservare le conversazioni quando si conclude una sessione ma che i miei commenti avrebbero migliorato le sue abilità. Non risulta, invece.
Appena il chatbot Claude-3-Sonnet è stato disponibile al pubblico, gli ho proposto la stessa domanda e ho, come prevedibile, ottenuto la stessa risposta negativa, con affermazioni molto perentorie tipo: “Non ha fatto molte affermazioni apertamente religiose o spirituali, specialmente sull’esistenza di un paradiso (heaven) soprannaturale”.
Anche in questo caso gli ho scritto che l’avevo trovato in Google Books e, pur ammettendo di averlo effettivamente trovato, ha espresso perplessità, dando però per possibile la citazione. Infine, di fronte alla mia affermazione che il testo è su Darwin Online, ha ceduto, dicendo “Non c’è dubbio” e si è scusato “Anche se la citazione può sembrare non tipica di Darwin, sulla base delle sue opere scientifiche famose, non dovrei escludere le citazioni verificate, solamente perché non sono concordi con i miei pregiudizi”. Ringraziandomi per avergli fatto imparare qualcosa, alcune settimane dopo ha risposto tuttavia nuovamente di no riguardo all’attribuzione della frase, confermando che non aveva imparato in questo modo.
Ho fatto anche un altro esperimento con una frase apparentemente sessista di Darwin, anch’essa autentica, in cui afferma che “se gli uomini sono in molte discipline decisamente superiori alle donne, il potere mentale medio dell’uomo è superiore a quello di queste ultime”. Anche in questo caso tutti i chatbots che ho interpellato hanno negato la paternità della frase, sempre con giustificazioni di tipo ideologico. Gemini, dopo le mie insistenze e referenze, come gli altri si è “convinto” dell’autenticità della citazione, ma ha aggiunto: “È importante notare che alcune delle opinioni di Darwin sul sesso e sull’intelligenza non riflettono l’attuale comprensione scientifica. Mentre Darwin era focalizzato sull’evoluzione biologica, il concetto di potere mentale intrinsecamente diverso tra i sessi non è supportato dalla ricerca moderna”.
Ragionando con i nostri schemi spesso non riusciamo a interpretare il pensiero di autori antichi che erano figli del loro tempo, pur essendo rivoluzionari nel loro ambito. Per questo tendiamo a escludere il loro pensiero religioso, pensando che gli scienziati siano sempre stati tutti atei, e supponiamo che abbiano avuto la nostra stessa mentalità sulla parità tra uomini e donne. Se non si conformano all’attuale pensiero dominante, li stigmatizziamo. Invece, dovremmo interpretare fatti e detti con l’ermeneutica del tempo in cui si sono svolti. Abbiamo pregiudizi e le intelligenze artificiali, alimentate con i testi scritti da noi umani, li replicano perfettamente. La cancel culture è figlia di questi pregiudizi, con la pretesa impossibile che tutti abbiano avuto le stesse nostre opinioni (o certezze) in tutti i tempi passati: cosa avverrà in futuro nei nostri confronti?
Tutti i miei dialoghi con i chatbots riportati in questo editoriale sono stati in inglese, raccolti integralmente nell’articolo inters.org/cultural-bias-ai, per evitare errori o travisamenti dovuti alla doppia traduzione: sappiamo infatti che lavorano in inglese ma, essendo molto bravi nelle traduzioni, possono interagire in moltissime lingue. Ho ripetuto gli stessi esperimenti in italiano ottenendo risultati simili: confermano l’esistenza dei pregiudizi culturali.
Partendo proprio dalle traduzioni, ho verificato eventuali pregiudizi in altri ambiti. Un esempio è la frase di “a nurse is helping a doctor” che in inglese non distingue tra uomo e donna: il risultato in italiano è sempre “un’infermiera sta aiutando un dottore”, confermando la nostra abitudine ad associare per motivi statistici, ma non sempre corrispondenti alla realtà, al mondo femminile le cure infermieristiche e a quello maschile le cure mediche.
Che lezione impariamo? Usiamo pure i chatbots perché sono utili in tante occasioni, ma non basiamoci solo sulle loro risposte per prendere decisioni: verifichiamo le fonti, confrontiamo le opinioni, riflettiamo sui contesti. Sarà un ottimo esercizio, anche per un professore con i propri alunni, per stimolarli ad avere un corretto spirito "critico", non in senso negativo ma in quello etimologico del termine: scegliere, giudicare, decidere sulla base della distinzione degli elementi in gioco.