Questo articolo è disponibile anche in versione podcast audio.

Immaginate che vostro figlio piccolo abbia un problema alla pelle, come può capitare per mille ragioni, e che il vostro medico vi chieda di mandargli una foto della zona affetta per fare un consulto rapido e partire subito con la terapia in attesa della visita di persona. È una richiesta comune, soprattutto in questo periodo di contatti sociali necessariamente ridotti e con lo sviluppo dei servizi di telemedicina.

Ora immaginate che questo semplice, banale gesto possa farvi bloccare tutti i servizi di Google, dalla mail all’agenda all’archivio delle foto e dei video di famiglia, e addirittura farvi mettere sotto indagine da parte della polizia.

È esattamente quello che è successo realmente a due genitori a febbraio 2021 negli Stati Uniti. La loro unica colpa è stata aver scattato le foto in questione con uno smartphone associato a un account Google. 

Come racconta il New York Times, che ha scoperto questi incidenti, le fotografie inviate ai rispettivi medici ritraevano la zona genitale dei figli, ed erano state copiate automaticamente ai server di Google, dove erano state etichettate dai sistemi automatici con una sigla terribile ma poco conosciuta: CSAM. Sono le iniziali di child sexual abuse material, ossia “materiale relativo ad abusi sessuali su bambini”. I due genitori (uomini di due famiglie distinte), erano stati classificati automaticamente come pedopornografi, e segnalati da Google alla polizia locale, che aveva avviato le indagini del caso.

Il loro incubo è durato alcuni mesi: in entrambi i casi la polizia ha confermato che non era stato commesso alcun reato, ma Google è stato irremovibile e non ha ripristinato gli account delle due vittime del suo eccesso di zelo.

Queste due vicende, nota un articolo della Electronic Frontier Foundation, un’importante associazione per la difesa dei diritti digitali dei cittadini, dimostrano nella maniera peggiore il fatto che i messaggi privati, i file e le fotografie di comuni cittadini vengono esaminati sempre più spesso dalle grandi aziende informatiche a titolo preventivo, senza ci sia alcun sospetto o mandato di inquirenti. 

Sistemi automatici come PhotoDNA di Microsoft e Content Safety API e CSAI Match di Google, usati da tutti i principali fornitori di servizi digitali, da Facebook a Reddit, identificano ogni anno milioni di immagini di questo genere e producono centinaia di migliaia di segnalazioni in tutto il mondo. Ma lo fanno compiendo l’equivalente digitale di una perquisizione a tappeto. E ogni tanto sbagliano.

Il traffico di immagini di abusi su minori è un problema gravissimo, che per molte persone e in molti ordinamenti giuridici giustifica questo tipo di perquisizione digitale di massa; lo giustifica per esempio, appunto, negli Stati Uniti, con il cosiddetto EARN IT Act, e probabilmente lo giustificherà prossimamente anche nell’Unione Europea, stando a una proposta in corso di valutazione.

Ma anche i casi di falsi positivi, come quelli descritti dal New York Times, sono problematici, perché mostrano che i grandi nomi di Internet svolgono questo importantissimo pattugliamento affidandosi troppo a questi filtri automatici e a esaminatori umani inadeguati, senza offrire a chi viene infamato per errore la possibilità di contattare un essere umano che valuti la situazione, e senza accettare neppure un rapporto di polizia che scagioni chi è stato accusato ingiustamente. I grandi nomi di Internet sono insomma investigatori, giudici ed esecutori delle proprie sentenze inappellabili. Il New York Times ha contattato Google in merito a questi due genitori accusati e condannati ingiustamente, ma non è servito a nulla. E non si sa quante volte accadano questi falsi positivi o quante persone danneggino.

Il problema, nota ancora la Electronic Frontier Foundation, non è tecnico: i sistemi di riconoscimento delle immagini hanno un tasso di errore molto basso, come confermano gli addetti ai lavori che hanno il compito non invidiabile di controllare tutto quello che viene segnalato da questi software. Il problema è organizzativo: qui ha fallito il processo umano di riesame dei singoli casi e hanno fallito le procedure decise da Google che prevedono il blocco permanente dei dati, senza appello.

E va detto che anche il tasso di errore migliore del mondo, se viene applicato a miliardi di foto, produrrà milioni di falsi positivi. La EFF segnala uno studio di Facebook su 150 account segnalati alle autorità per presunto contenuto relativo ad abusi su minori, che ha scoperto che il 75% di questi account era innocente. La stessa Foundation nota che LinkedIn ha segnalato alle autorità dell’Unione Europea 75 account nell’ultimo semestre del 2021, ma solo 31 di questi sono stati confermati come colpevoli da un riesame manuale.

La vigilanza contro questi reati terribili è chiaramente indispensabile, ma va fatta con gli strumenti giusti e con procedure che garantiscano che non ci vadano di mezzo degli innocenti.

Per il momento, la vicenda dei due genitori additati senza colpa sottolinea una cosa che dimentichiamo molto spesso: tutto quello che salviamo nel cloud può essere letto, e quasi sicuramente verrà letto, dai grandi fornitori di questi servizi, e potrebbe essere capito male. Teniamolo presente quando scriviamo online delle confidenze o dei documenti sensibili. Facciamo una copia di scorta locale, perché potremmo perdere tutto quello che abbiamo online senza preavviso. E se abbiamo bisogno di scattare foto che potrebbero essere fraintese da un filtro automatico troppo zelante, lasciamo stare cloud e smartphone e procuriamoci una normale macchina fotografica. Digitale, per carità, ma che non vada su Internet.