Emil Holub (Akdasfirst) (Repubblica Ceca, Deviantart) – Artificial Intelligence

E se l’AI spiegasse le proprie scelte?

di Vincenzo Rampolla

Perché volere che un software di AI si spieghi? Si racconti, si sveli.

Basterebbe farglielo fare con la creazione di reti neurali più trasparenti. Nooo!

Rischio di peggiorare le cose e portare a un eccesso di fiducia nel sistema.

Che fare allora? Perché non cambiare il modo in cui gli algoritmi agiscono o meglio non si spiegano. Per ora si manifestano, sono il risultato di connessioni messe in moto. Nessuno ancora ha osato chiedere a un software di AI di esprimere di ogni sua scelta il razionale della scelta stessa.

Può funzionare?

U.Ehsan dirige l’AI al Georgia Institute of Technology di Atlanta. Una volta ha fatto un giro di prova su un'auto a guida autonoma, quella senza guidatore. Invece di preoccuparsi per il posto di guida vuoto, i passeggeri in preda al panico sono stati invitati a incollare il naso su uno schermo che mostrava un’immagine della strada dal punto di vista dell'auto: i pericoli in arancione e rosso, le zone sicure in blu. Ehsan, studiava il modo in cui gli esseri umani interagiscono con l'AI e la lezione è stata chiara: Lascia perdere, non diventare matto per capire quello che l'auto sta facendo. La scena della strada dall'aspetto indecifrabile ha solo messo in luce la verità. Che ha fatto Ehsan per rassicurare i passeggeri? Ha pensato. E se l'auto a guida autonoma potesse davvero spiegarsi, scrivendomi sullo schermo perché fa ciò che sta facendo, oppure con un messaggio vocale?

Il successo del deep learning (apprendimento profondo) è dovuto alla possibilità di intervenire puntualmente: le migliori reti neurali sono ottimizzate e adattate per essere perfezionate e i risultati pratici hanno superato la teoria. Per questo i dettagli di come funziona un modello addestrato sono tenuti sconosciuti ai più. Perché mai dovrei andare a guardarci dentro? Beh … non ci avevo mai pensato. Ho sempre visto gli algoritmi come scatole nere. Forse è ora di scoperchiarle. Siamo di solito d'accordo quando si tratta di come tradurre un testo o provare l’ultimo programma Netflix. Ma se l'AI deve essere usata per aiutare a prendere decisioni per le forze dell'ordine, nella diagnosi medica e nelle auto senza conducente, allora dobbiamo capire come queste decisioni vengono prese e sapere se e quando sono sbagliate.

Ho ancora il diritto di obiettare e rifiutare una decisione automatizzata? Qui non si scherza o allora la tecnologia va buttata nel cesso. Caso pratico, recentissimo: la risposta pubblica al sistema di riconoscimento facciale, la voglia di aprire e guardare dentro la sua infernale scatola nera. Lo scopo della cosiddetta AI interpretabile o spiegabile (XAI) è di aiutarmi a capire, nel caso di una rete neurale da me creata, quali caratteristiche dei dati stia effettivamente imparando e quindi se il modello che viene fuori è accurato e non una presa in giro. Dati oggettivi, dunque.

Una soluzione è costruire sistemi di apprendimento automatico che mostrino il loro funzionamento: la cosiddetta glassbox AI (AI chiara), diversamente dalla black box AI (AI oscura). Andiamo avanti. I modelli glassbox sono in genere versioni molto semplificate di una rete neurale in cui è più facile tenere traccia del modo in cui solo una parte dei blocchi di dati, non necessariamente la totalità dei dati, influenza il modello. Per alcune applicazioni è tutto ciò di cui si ha bisogno, ma dipende dall’architettura. Se si vuole imparare da dati disordinati come immagini o testi, si è bloccati con reti neurali profonde, e quindi opache, non trasparenti. La capacità di queste reti di stabilire connessioni significative tra un numero molto elevato di funzioni diverse è legata alla loro complessità. Può l'apprendimento automatico del glassbox aiutare in questo caso? Proviamo.

Una soluzione è addestrare un modello iniziale di glassbox come se fosse una fase di test per scoprire potenziali errori da correggere e estendere all’intero sistema. Una volta che i dati sono stati ripuliti, è possibile addestrare un modello di scatola nera più accurato.

Difficile? Sì. È un equilibrio rischioso, perché troppa trasparenza può portare a un sovraccarico di informazioni. In uno studio del 2018 su come gli utenti non esperti interagiscono con gli strumenti di apprendimento automatico, si è scoperto che i modelli trasparenti possono in realtà rendere più difficile rilevare e correggere gli errori del modello. Chi l’avrebbe immaginato?!

Un altro approccio è quello di includere visualizzazioni che mostrino alcune proprietà chiave del modello e dei suoi dati sottostanti. L'idea è di cercare di stanare subito i problemi seri. Questi strumenti di visualizzazione si sono dimostrati incredibilmente efficaci nel breve periodo in cui sono stati in circolazione. Servono davvero? Sì, nella prima fase di uno studio di questo tipo. Dopo saltano fuori altri problemi, inaspettati, legati all’uomo e alla sua natura.

Il team dello studio ha adottato due strumenti di interpretabilità molto noti, con grafici e diagrammi di dati, rilevando le cose che il modello di apprendimento automatico aveva acquisito maggiormente durante l'addestramento. Che hanno fatto? Sono stati selezionati 11 professionisti Microsoft di AI, diversi tutti per istruzione, mansione e esperienza. Hanno preso parte a una finta interazione con un modello di apprendimento automatico formato su dati del reddito nazionale tratti dal censimento Usa di un anno scelto a caso. Il test è stato progettato specificamente per imitare il modo in cui i data scientist, i geni dell’AI utilizzano gli strumenti di interpretabilità nel loro lavoro di ogni giorno.

Sorpresa !! Gli strumenti hanno permesso sì di individuare valori mancanti nei dati, ma il risultato è stato inquinato da una tendenza a fidarsi eccessivamente e a mal interpretare le visualizzazioni. Diciamo la verità: gli utenti non erano neppure capaci di descrivere ciò che gli schermi stavano mostrando. Da non credere. Risultati legati all’uomo e alla sua natura. Ciò ha portato a presupposti errati sul set di dati, sui modelli e sugli stessi strumenti di interpretabilità e ha inculcato una falsa fiducia negli strumenti che hanno scatenato i partecipanti a sviluppare i modelli, anche quando avevano notato che qualcosa non funzionava. Di male in peggio! Ciò è avvenuto anche quando il dato in uscita era stato addirittura manipolato con prove senza senso, pur di giustificare qualcosa che non era stato capito. Per sostenere i risultati del loro studio limitato all’inizio sui piccoli utenti, i geni hanno successivamente condotto un sondaggio online su circa 200 professionisti dell'apprendimento automatico. Identico risultato. Analoga confusione e scarsa fiducia. Peggio. Molti partecipanti sono stati felici di usare le visualizzazioni per prendere decisioni sull'implementazione del modello pur ammettendo di non aver compreso la matematica utilizzata dagli algoritmi. Le persone hanno inventato storie pur di giustificare le stranezze nei dati. La libido dell’errore. In altre parole, i geni si fidano eccessivamente dei computer. Non è un fenomeno nuovo. Quando si tratta di sistemi automatizzati da autopiloti di aerei a correttori ortografici, gli studi hanno dimostrato che l’uomo spesso accetta le scelte fatte anche quando sta sbagliando e lo sa. Quando ciò accade con strumenti progettati per evitare di sbagliare, il problema assume una dimensione ancora più grande e rischiosa. Forse si incomincia a capire perché il progetto dei super caccia Usa F-35 continui a essere rifiutato dai piloti, nonostante le incalcolabili ore di addestramento: il manuale di istruzione in rete contiene un elenco di messaggi pari in totale a 26 milioni di righe di stampa e l’AI attuale, in caso di attacco classificato mortale, ancora non sa dare la priorità tra tenere in vita il pilota o non distruggere l’aereo.

Salvare il pilota o l’aereo che sta guidando? Testa o croce?

Che fare? Per alcuni, con la prima ondata di XAI, parte del problema si basa sul fatto di essere gestito da molti ricercatori di machine learning, utenti esperti di sistemi di AI, qualificati dal volgo come matti cui è affidata la gestione del manicomio ….. Ehsan ha concluso che è più facile capire cosa stia facendo un sistema automatizzato e vedere quando stia commettendo un errore se fornisce le ragioni delle sue azioni, né più né meno come un essere umano. Ehsan e il suo collega Mark Riedl stanno sviluppando un sistema di apprendimento automatico che genera automaticamente tali ragioni nel linguaggio naturale. In un prototipo iniziale, si è scelta una rete neurale che aveva imparato a giocare a un classico videogioco degli anni '80 e lo aveva addestrato a fornire un motivo ad ogni mossa e quando la rete neurale vedeva un'azione nel gioco, la traduceva in una spiegazione. Risultato sconcertante: un’AI di guida che ogni volta che si muoveva diceva: mi sto muovendo a sinistra per stare dietro al camion blu…

E la chiamiamo AI…

Il lavoro di Ehsan e Riedl è all'inizio. Per prima cosa, non è chiaro se un sistema di apprendimento automatico sarà sempre in grado di esprimersi con una logica di linguaggio naturale per le sue azioni. Nell’esempio della dama o di un gioco da tavolo, una delle caratteristiche più sorprendenti del software è la sua capacità di fare mosse vincenti che la maggior parte dei giocatori non penserebbe di fare in quel momento della partita. Che senso avrebbe se ora fosse in grado di spiegare le sue mosse?

Le spiegazioni aiutano se le capiamo o se non riusciamo a capirle, dice Ehsan: l’obiettivo dell’XAI è incentrato sull'uomo. Non è solo di far concordare l'utente con ciò che l'AI sta dicendo, è anche di indurlo a pensare, di obbligarlo a dire: non é così che il gioco funziona. Pensandoci è stato vitale per capire che sta succedendo. Che aspettano a insegnarlo all’AI dell’ F-35? Deep learning, vero?

Pensiamo a un’AI per diagnosi di cancro. La spiegazione che l’AI dà a un oncologo deve essere forse diversa dalla spiegazione che l’oncologo dà al paziente?

In conclusione, l’obiettivo è che le AI si spieghino non solo ai geni data scientist e ai medici, ma anche agli agenti di polizia che utilizzano la tecnologia di riconoscimento facciale, agli insegnanti che utilizzano software di analisi nelle loro classi, agli studenti che cercano di dare un senso ai social media e a chiunque sia seduto sul sedile posteriore di un'auto senza guidatore e se la fa sotto. Da sempre si sa che le persone si fidano eccessivamente della tecnologia e questo è particolarmente vero con i sistemi di AI e più tu dici che il sistema è intelligente, più la gente é convinta che lo sia. E anche più intelligente di loro.

(consultazione: MIT science, selfdrivingvehicles)