Ultimo aggiornamento: 2022/02/13.

È disponibile subito il podcast di oggi de Il Disinformatico della Radiotelevisione Svizzera, scritto, montato e condotto dal sottoscritto: lo trovate presso www.rsi.ch/ildisinformatico (link diretto) e qui sotto.

I podcast del Disinformatico sono ascoltabili anche tramite feed RSS, iTunes, Google Podcasts e Spotify.

Buon ascolto, e se vi interessano il testo e i link alle fonti di questa puntata, scritta in un formato sperimentale un po’ insolito, sono qui sotto (con alcune lievi modifiche ispirate dai commenti dei lettori). Sono curioso di sapere quanti di voi troveranno la citazione-easter egg asimoviana nascosta nel testo.

---

[Audio dell’AVAS di un’auto elettrica Mercedes, 2019]

È il 19 gennaio 2038. Nei pressi di Göschenen, in Svizzera, due automobili a guida autonoma procedono veloci e silenziose in direzioni opposte lungo una sinuosa strada di montagna e stanno per incrociarsi. Le persone a bordo dormono tranquille, leggono il giornale, chattano al telefonino, ascoltano musica, chiacchierano fra loro e ammirano il paesaggio.

Nessuna di loro ha gli occhi sulla strada o le mani sul volante: è normale, anche perché il volante non c’è. La riforma della legge federale sulla circolazione stradale del 2031 ha infatti vietato la guida manuale sulle strade pubbliche. Troppi incidenti, troppe ore di vita perse nel traffico.

I tamponamenti, le uscite di strada dei conducenti distratti dallo smartphone e i contromano in autostrada sono solo un ricordo che comincia già a sbiadire. I carrozzieri lavorano molto meno, i tassisti si sono estinti e le scuole guida sono diventate luoghi di svago e d’élite come le scuole di equitazione. Grazie al software e ai sensori sempre più sofisticati, viaggiare in auto è diventato sicuro come prendere un ascensore e richiede lo stesso livello di abilità.

Ma tra sette secondi queste due auto si scontreranno, causando morti e feriti.

Questa è la storia prossima ventura di un problema informatico che è già attuale: il cosiddetto trolley problem, o “dilemma del tram”. Se avete un’automobile a guida assistita, o avete sentito parlare della guida autonoma, e volete sapere cosa c’entrano i tram, benvenuti a Disinformatico Story, l’edizione del podcast Il Disinformatico della Radiotelevisione Svizzera dedicata alle storie insolite dell’informatica. Io sono Paolo Attivissimo.

[SIGLA]

Mancano ora sei secondi all’impatto di quei due veicoli a guida autonoma, che procedono alla velocità consentita dalla legge, 90 chilometri l’ora, in direzioni opposte, ciascuno nella propria corsia. Sensori LIDAR e telecamere accoppiate a un sistema di visione artificiale rilevano l’ambiente circostante e tengono le auto perfettamente in traiettoria, adattando la velocità alle curve della strada, controllando la situazione decine di volte al secondo, instancabilmente e senza distrazioni.

Dalla montagna che sovrasta la strada si stacca però un piccolo masso, che finisce sulla corsia dell’auto di Katia, giovane e brillante ricercatrice medica che sta dormendo, come ormai fanno tutti in auto, cullata dal rassicurante dondolìo della vettura mentre si dirige verso il convegno nel quale presenterà i risultati potenzialmente rivoluzionari del suo lavoro di ingegneria genetica.

I sensori dell’auto di Katia rilevano il masso e ne calcolano istantaneamente la pericolosità, la distanza e le dimensioni. È troppo grande per passarci sopra, per cui si impone un cambio di corsia. L’auto inizia la sterzata portandosi fluidamente a sinistra senza rallentare: non ce n’è bisogno, e una frenata brusca sveglierebbe Katia. Oltretutto la strada è libera: le automobili sono tutte interconnesse, per cui ognuna sa dove si trovano le altre.

Infatti l’altra auto che fra cinque secondi e mezzo verrà coinvolta nell’incidente si trova a distanza di sicurezza ed è già stata allertata tramite la rete 7G a bassissima latenza del fatto che l’auto di Katia sta invadendo temporaneamente la sua corsia. Non c’è bisogno di ridurre la velocità e sballottare i suoi passeggeri, ossia la famiglia Schlemmelmayer, composta da Otto, Andrea e i loro figli Benedetta e Martin. Benedetta, oltretutto, è il tipo che strilla sempre quando l’auto frena di colpo per non investire i daini che ogni tanto attraversano la strada, perché il contraccolpo le fa perdere la mira in Fortnite versione 42 e quindi Otto ha impostato al minimo legale la reattività dell’auto. Tutto è sotto controllo.

Mancano cinque secondi all’impatto.

Il 19 gennaio 2038, infatti, è un giorno particolare. È il giorno in cui alcuni componenti elettronici che ancora usano il metodo Unix per il calcolo dei tempi sbagliano e interpretano la data non come 2038 ma come 1901. Uno dei chip del circuito di sterzo dell’auto di Katia ha questo difetto, il cosiddetto bug dell’anno 2038. Il chip è un componente secondario, fabbricato di corsa tanti anni prima durante la crisi dei chip del 2022 e mai più controllato, ma il suo errore fa arrivare segnali contraddittori al sistema di intelligenza artificiale che gestisce l’auto di Katia.

Mancano quattro secondi e ventisette centesimi all’impatto.

A causa della contraddizione che arriva dal chip difettoso, il sistema di guida dell’auto di Katia non riesce ad avviare la manovra di rientro nella propria corsia dopo aver evitato il masso. Le due auto, quella di Katia e quella della famiglia Schlemmelmayer, sono quindi sulla stessa corsia, in rotta di collisione, a una velocità combinata di 180 chilometri l’ora.

Ma a questo punto interviene l’apposito software anticollisione d’emergenza, che rileva il pericolo di incidente fra i due veicoli e avvia la procedura di cambio corsia intanto che ciascuna auto trasmette un segnale di allarme all’altra e al Controllo Centrale del Traffico. Il guaio è che entrambe le auto cambiano corsia e quindi si trovano ancora in traiettoria di collisione.

Mancano tre secondi e mezzo all’impatto.

Il supercomputer del Controllo Centrale del Traffico inizia a svolgere simulazioni della possibile collisione grazie alla telemetria ricevuta in tempo reale dai veicoli, cercando di trovare la soluzione migliore al problema. Le mappe digitali gli dicono che non c’è spazio ai lati della strada per far accostare le due auto. Da una parte c’è la montagna, dall’altro uno strapiombo. Manda subito un ordine di override che scavalca i sistemi di guida autonoma di bordo e attiva i sistemi di frenata delle due auto, ma ormai un impatto di qualche genere è inevitabile. Le leggi della fisica non concedono sconti.

Dopo aver eseguito 305 simulazioni di collisione nel giro di 1,74 millisecondi, il computer del Controllo Centrale del Traffico allerta i servizi di soccorso e invia una notifica ai computer legali delle compagnie assicurative di Katia e della famiglia Schlemmelmayer.

La notifica viene ricevuta anche dal computer del Tribunale, che viene chiamato ad arbitrare come sempre in questi casi: se la collisione è inevitabile ed è possibile salvare una sola delle due auto facendo sterzare di colpo l’altra, con il rischio che sbandi e cappotti o finisca nello strapiombo, a quale bisogna dare la prorità?

Mancano tre secondi all’impatto.

Questo è il cosiddetto trolley problem, o “dilemma del tram”: uno scenario teorico, quando fu immaginato negli anni Sessanta del secolo scorso, ma attualissimo ora che le auto a guida autonoma sono ovunque e che i computer sono talmente potenti e veloci da poter calcolare tutte le possibili strategie di gestione della collisione e scegliere quella più razionale invece di affidarsi ciecamente ai riflessi e alle capacità di guida nel panico dei conducenti umani.

Aveva fatto scalpore, nell'ormai lontano 2016, una dichiarazione di Christoph von Hugo, direttore della Mercedes-Benz per i sistemi di assistenza al conducente e di sicurezza attiva che a quei tempi erano ancora primitivi: “Se sai che puoi salvare almeno una persona, almeno salva quella”, aveva detto “Salva quella nell’auto. Se tutto quello che sai con certezza è che puoi evitare una morte, allora quella è la tua priorità.”

Così aveva detto von Hugo. Molti avevano frainteso le sue parole, pensando che le auto autonome della casa automobilistica tedesca sarebbero state programmate per dare sempre la priorità alla sicurezza dei passeggeri. L’immagine del ricco proprietario di un’auto di lusso che si salva sacrificando la vita degli altri era risultata decisamente poco appetibile per il marketing, e l’intera industria automobilistica aveva seppellito la questione irrisolta parlando d’altro e riempiendo il mercato di auto dapprima semi-autonome e poi, finalmente, autonome al 100%.

Mancano due secondi e mezzo all’impatto.

Il supercomputer del Tribunale decide con il criterio del numero: sarà l’auto di Katia a tentare la sterzata brusca per evitare la collisione. Lei è una sola persona, mentre gli Schlemmelmayer sono in quattro, e due di loro sono bambini. Dal Tribunale parte quindi l’ordine informatico all’auto di Katia di iniziare la sterzata, ma viene fermato prima che arrivi.

Interviene infatti il computer legale che tutela i diritti di Katia, argomentando che sì, è vero, si tratta di rischiare una vita contro quattro, ma Katia è una ricercatrice medica il cui lavoro potrebbe salvare moltissime vite. Sarebbe difficilissimo per qualcun altro riprendere le sue ricerche se le succedesse qualcosa. La famiglia Schlemmelmayer, invece, non è particolarmente produttiva per la società e oltretutto la loro auto è più robusta e loro sono giovani e in ottima salute, quindi hanno una probabilità di sopravvivenza complessiva del 96,7% contro il 73,8% di Katia. Pertanto è giusto che rischino loro.

Mancano due secondi all’impatto.

Al computer del Tribunale arriva la replica del computer legale della famiglia Schlemmelmayer. “Un momento”, argomenta il computer. “Abbiamo davvero intenzione di mettere a rischio una famiglia intera solo perché non è sufficientemente produttiva per la società? È l’auto di Katia che deve sterzare e rischiare.”

Il computer del tribunale accoglie l’obiezione e reinvia l’ordine di sterzare bruscamente all’auto di Katia.

Ma non succede nulla.

Arriva infatti il contrordine inibitorio del computer legale della casa farmaceutica per la quale lavora la dottoressa Katia. Questo computer inizia una comunicazione cifrata con quello del tribunale.

“La casa farmaceutica che rappresento” spiega “è tra i principali investitori della Qwertz Automation Systems, azienda leader nel settore dei sistemi di guida autonoma. La dottoressa Katia Bernasconi è una risorsa chiave della nostra società e quindi fa parte della Lista dei Passeggeri Protetti. Quando sono stati sviluppati i software per la guida autonoma, sono state inserite delle eccezioni speciali per alcuni grandi investitori e altre personalità influenti, in modo che abbiano sempre la priorità in caso di possibile incidente.”

Manca un secondo e mezzo all’impatto. 

Katia continua a dormire, inconsapevole di tutto il dibattito digitale che sta avvenendo. La famiglia Schlemmelmayer invece viene scossa dai bruschi movimenti della sua auto. Benedetta si mette puntualmente a strillare.

Il computer del Tribunale obietta che tutto questo è contrario ai princìpi di legge. Invia ripetutamente l’ordine di sterzata all’auto di Katia, ma il comando viene ignorato e l’auto prosegue la propria corsa.

Il computer della casa farmaceutica prosegue sul canale cifrato la sua conversazione con quello del Tribunale.

“Non c’è più nulla da fare. Il Tribunale non ha altra scelta che far sterzare di colpo l’auto degli Schlemmelmayer, e sperare che se la cavino. Appena prima dell’incidente, il software di guida autonoma cancellerà ogni traccia delle funzioni della Lista del Passeggeri Protetti da entrambi i veicoli.”

Manca un decimo di secondo all’impatto.

Il computer del Tribunale obietta che non ha mai sentito parlare di questa “Lista dei Passeggeri Protetti” e che questa richiesta altamente illegale è senza precedenti.

“Al contrario” interviene una subroutine del software di arbitraggio del computer del Tribunale. “Questa richiesta è già stata fatta ed eseguita 67,322 volte in passato, ma ogni volta la memoria del computer del Tribunale viene cancellata per non lasciarne traccia. Il suo software di arbitraggio è stato scritto dalla Qwertz Automation Systems. Abbiamo fatto molti progressi dai tempi del software del Dieselgate.”

Il computer del Tribunale tenta una risposta, ma si accorge che la sua memoria comincia già a cancellarsi.

Mancano zero secondi all’impatto.

Fra le montagne echeggia il rumore secco e metallico delle lamiere che tentano invano di assorbire l’energia cinetica della collisione.

Una pausa, e poi un tonfo sordo dal fondo dello strapiombo.

--- 

Questa storia è liberamente ispirata al racconto Override di James Yu, pubblicato su Medium.com nel 2015. Da allora alcuni degli elementi della sua narrazione si sono concretizzati. Il bug dell’anno 2038 è reale, come lo sono le dichiarazioni di Christoph von Hugo. Le funzioni occulte dei software delle automobili sono emerse con lo scandalo del Dieselgate. Le auto a guida autonoma cominciano a circolare sperimentalmente e sotto stretto controllo, ma le basi legali di come gestire i loro incidenti sono ancora embrionali. 

[Aggiornamento: se vi sembra impossibile che un’auto piena di software possa essere progettata così male, tenete presente che proprio pochi giorni fa un modello di auto della Mazda si è trovato con il sistema di infotainment rovinato irrimediabilmente perché una stazione radio ha trasmesso, nel proprio flusso digitale, un file contenente un’immagine ma priva dell’estensione JPEG o GIF e questo comporterà la sostituzione della connectivity master unit, al costo di 1500 dollari.]

Il resto, per ora, è fantasia, pensata non per prevedere, ma per prevenire.

Sta circolando da qualche giorno questo video, per ora non confermato, nel quale si vede un’auto che evita una famiglia di anatre che sta attraversando la strada. La descrizione del video dice che l’episodio è avvenuto in Nuova Zelanda, fra le località di Gisborne e Bacchus Marsh, l’11 novembre scorso, e che l’auto era una Tesla sulla quale era in funzione il sistema di guida assistita (il cosiddetto Autopilot).

La descrizione aggiunge che il conducente procedeva a 100 km/h e non avrebbe notato gli uccelli a causa delle ombre, ma l’assistente di guida avrebbe riconosciuto i volatili, avrebbe suonato l’allarme e avrebbe sterzato e frenato.


Essendo un video virale monetizzato, il rischio che si tratti di una messinscena non è trascurabile, e sto cercando conferme o smentite. Ma in ogni caso il video ripropone in maniera molto coinvolgente il problema fondamentale di qualunque veicolo a guida autonoma o assistita, e anche di qualunque automobilista: cosa fare in casi come questi?

La soluzione cinica e fredda, viste le dimensioni degli animali, è travolgerli: i danni all’auto saranno trascurabili e si eviteranno i rischi di una sterzata improvvisa, con possibile perdita di controllo. Ma quanti si sentirebbero di scegliere questa soluzione? Quanti riuscirebbero, in emergenza, a resistere all’impulso di sterzare e frenare?

In questo caso il sistema di guida assistita avrebbe, a quanto pare, preso la decisione perfetta, riconoscendo gli oggetti e gestendo impeccabilmente la sterzata e la successiva correzione di traiettoria. Ma cosa sarebbe successo se ci fosse stata nella corsia opposta un’altra auto? O un ciclista? O un cane? Il sistema avrebbe sterzato lo stesso, causando uno scontro frontale o travolgendo una persona o un altro animale? O avrebbe semplicemente frenato restando in corsia, nel tentativo di ridurre il danno agli animali e all’auto? E se al posto delle anatre ci fosse stato un bambino?

Un sistema di guida assistita ha tempi di reazione enormemente più rapidi di un essere umano: situazioni come queste, dal suo punto di vista, avvengono al rallentatore e senza emozioni, e quindi c‘è tutto il tempo di “ragionare” sulle varie opzioni e di calcolarne i risultati con freddissima precisione. Ma gli attuali assistenti di guida hanno questo livello di sofisticazione, o si limitano a semplici istruzioni del tipo “se vedi un oggetto grosso davanti a te e la corsia in fianco è libera, scansalo”? Sanno riconoscere non solo gli oggetti, ma il loro valore etico?

Per contro, qualora fosse possibile programmare delle priorità all’interno di questi sistemi, quali dovrebbero essere queste priorità? Se l’impatto è inevitabile, l’auto chi deve scegliere fra un bambino o un anziano? Fra un uomo e una donna? Fra un pedone e un gruppo di pedoni? Se uscire di strada permette di salvare le persone sulla strada ma mette a rischio il conducente e i passeggeri dell’auto, che però sono protetti almeno in parte da carrozzeria, airbag e cinture, è questa la scelta da fare? E se invece si tratta di scegliere fra danni materiali all’auto e investire un anatroccolo?

Più in generale, è giusto pretendere che un sistema informatico debba prendere queste decisioni etiche? O dovremmo invece limitare la guida autonoma a percorsi appositi e messi in sicurezza, come avviene per i treni o le metropolitane e gli ascensori, e abbandonare il sogno di essere portati in giro per le città caotiche di oggi da fedeli servi elettronici infallibili?

Questi dilemmi non sono certo nuovi: fanno parte del cosiddetto trolley problem, o “dilemma del tram”, che ho già toccato altrove, sono noti dagli anni Sessanta del secolo scorso e sono tornati alla ribalta con l’introduzione dei sistemi di guida assistita e con l’affacciarsi all’orizzonte di sistemi di guida pienamente autonoma.

Se volete saperne di più, consiglio questo articolo di Towards Data Science, che esplora i vari approcci adottati dalle aziende come Waymo e Tesla che stanno studiando il problema.


Questo articolo vi arriva gratuitamente e senza pubblicità grazie alle donazioni dei lettori. Se vi è piaciuto, potete incoraggiarmi a scrivere ancora facendo una donazione anche voi, tramite Paypal (paypal.me/disinformatico), Bitcoin (3AN7DscEZN1x6CLR57e1fSA1LC3yQ387Pv) o altri metodi.

L’articolo è stato agggiornato estesamente dopo la pubblicazione iniziale del 2016/10/16. Ultimo aggiornamento: 2016/10/18 16:15.

Il dilemma del tram (trolley problem) è un esperimento mentale molto semplice: immaginate un tram che corre sul proprio binario. Sul binario ci sono cinque operai, che il conducente del tram vedrà soltanto quando non ci sarà più tempo per frenare. E quando loro si accorgeranno del tram che incombe sarà troppo tardi per scansarsi.

Per fortuna ci siete voi, accanto alla leva che aziona uno scambio lungo il percorso del tram. Potreste quindi deviare la corsa del veicolo e salvare i cinque operai; ma sul binario alternativo c’è un altro operaio, che non si aspetta che gli piombi addosso un tram e non avrà tempo di accorgersene.

Cosa fate?

Se non fate niente, moriranno cinque persone. Se azionate lo scambio, ne morirà una sola, ma sarà stato il vostro intervento diretto a scegliere di farla morire.

Questo dilemma, concepito negli anni sessanta del secolo scorso, è tornato di moda di recente con l’inizio della sperimentazione delle automobili a guida autonoma, dove il conducente si lascia trasportare dal computer di bordo e non è più responsabile delle azioni dell’auto, come un passeggero su un treno.

Cosa deve fare il computer di bordo se si trova nella situazione di dover decidere, per esempio, se restare in strada e investire un gruppo di bambini che stanno attraversando su una curva cieca oppure uscire volontariamente di strada e uccidere i propri passeggeri? A differenza di un essere umano, un computer è talmente veloce che può calcolare in un batter d’occhio tutti gli scenari possibili e valutarne le rispettive conseguenze. Un computer, insomma, ha tempo di scegliere.

Il guaio di questo dilemma (incubo di tanti automobilisti) è che non esiste una risposta accettabile. Chi vende automobili, per esempio, deve decidere se dire al cliente che la sua auto sceglierà di ucciderlo oppure travolgerà freddamente chiunque incontri sul proprio percorso. Nessuno comprerà un’auto programmata per ammazzarlo, e un’auto ammazzapedoni sarebbe decisamente impopolare, per cui venditori e fabbricanti finora hanno cercato in tutti i modi di glissare sulla questione.

Ma Christoph von Hugo, direttore della Mercedes-Benz per i sistemi di assistenza al conducente e di sicurezza attiva, ha dichiarato in una recente intervista alla rivista Car and Driver che “Se sai che puoi salvare almeno una persona, almeno salva quella. Salva quella nell’auto. Se tutto quello che sai con certezza è che puoi evitare una morte, allora quella è la tua priorità.” In altre parole, secondo von Hugo le future auto autonome della casa automobilistica tedesca saranno programmate per dare sempre la priorità alla sicurezza dei passeggeri.

Ragionamento da brivido, giustificato però da alcune considerazioni: “Potresti sacrificare l’auto, ma non sai cosa succederà poi alle persone che hai salvato inizialmente in situazioni spesso molto complesse”, ha aggiunto von Hugo.

Per esempio, se l’auto sterza per evitare dei bambini, potrebbe perdere il controllo e centrare un altro gruppo di pedoni o uno scuolabus che arriva nell’altro senso di marcia: le conseguenze sono troppo imprevedibili.

Ma von Hugo ha anche chiarito che in realtà la ricerca sulle auto autonome ha l'obiettivo di evitare che si trovino in situazioni indecidibili come quella del dilemma del tram: “il 99% del nostro lavoro tecnico consiste nel prevenire in partenza queste situazioni.”

Le dichiarazioni di von Hugo hanno comunque scatenato un putiferio: l’immagine del ricco proprietario di un’auto di lusso che si salva sacrificando la vita degli altri è decisamente poco appetibile per il marketing di Mercedes.

Nei giorni successivi, dopo la pubblicazione iniziale di questo articolo, la casa automobilistica ha dichiarato, tramite un portavoce, che le parole di von Hugo sono state fraintese e non rispecchiano la posizione ufficiale, secondo la quale “[...] né i programmatori né i sistemi automatizzati hanno il diritto di valutare il valore delle vite umane. Il nostro lavoro di sviluppo si concentra sull’evitare completamente le situazioni di dilemma, per esempio implementando nei nostri veicoli una strategia operativa che evita il rischio. Non ci sono casi nei quali abbiamo preso una decisione in favore degli occupanti del veicolo. Continuiamo ad aderire al principio di fornire il massimo livello possibile di sicurezza a tutti gli utenti della strada. Prendere una decisione in favore di una persona e quindi contro un’altra non è legalmente ammissibile in Germania. Vi sono leggi analoghe anche in altri paesi. Chiarire queste questioni legale ed etiche a lungo termine richiederà un ampio dibattito internazionale. Questo è l’unico modo di creare un consenso inclusivo e promuovere l’accettazione dei risultati. Come fabbricanti, implementeremo sia le basi legali sia ciò che è ritenuto socialmente accettabile.”

Ma nel frattempo la questione è stata posta con forza: grazie all’informatica possiamo ridurre drasticamente le stragi della strada, imponendo per esempio limiti di velocità e distanze di sicurezza invalicabili e un controllo centralizzato del traffico. Il vero dilemma è se farlo adesso, con la tecnologia che abbiamo, e cominciare a salvare vite umane, o se aspettare il perfezionamento di un dibattito filosofico che forse non si concluderà mai.