Il problema dei consigli medici errati dell’AI e la risposta di Google

La promessa è quella di rendere la conoscenza più accessibile, immediata, democratica. Ma quando l’AI entra nel campo della salute, anche una semplificazione può trasformarsi in un errore grave. È quanto è emerso dal caso che ha coinvolto Google e la sua funzione di sintesi automatica delle ricerche, finita sotto osservazione dopo la diffusione di consigli medici imprecisi e, in alcuni casi, potenzialmente dannosi.

L’inchiesta del Guardian

Secondo un’inchiesta del Guardian, le cosiddette “AI Overviews” hanno fornito risposte che mancavano di contesto clinico o che risultavano in contrasto con indicazioni mediche consolidate. In alcuni esempi documentati, utenti che cercavano informazioni su patologie oncologiche o su esami diagnostici hanno ricevuto indicazioni generiche presentate come affidabili, senza avvertenze sulla necessità di un consulto medico o sulla variabilità individuale dei parametri sanitari. In un ecosistema digitale dove la prima risposta è spesso anche l’ultima, il rischio di interpretazioni errate cresce in modo esponenziale.

La reazione di Google è stata rapida ma significativa. L’azienda ha riconosciuto la criticità del problema e ha iniziato a limitare la comparsa delle sintesi automatiche per le ricerche legate alla salute, intervenendo su specifiche categorie di query e rafforzando i filtri interni. Una mossa che segnala consapevolezza, ma che allo stesso tempo mette in luce la fragilità di un modello basato sulla generazione probabilistica del linguaggio applicata a domini dove l’errore non è accettabile.

Il caso AI overview

Il problema è sia tecnologico sia culturale. I motori di ricerca sono diventati, di fatto, intermediari della conoscenza sanitaria. Molti utenti si affidano alle risposte online con un livello di fiducia che un tempo era riservato a medici e specialisti. L’introduzione dell’AI generativa in questo contesto amplifica il problema, perché le risposte appaiono strutturate, sicure, spesso formulate con un tono assertivo che maschera l’incertezza intrinseca del modello. L’assenza di fonti chiare, di limiti esplicitati e di riferimenti al contesto clinico personale rende queste informazioni difficili da interpretare correttamente.

Il caso solleva interrogativi più ampi sul futuro dell’informazione sanitaria nell’era dell’AI. Delegare a sistemi automatici la sintesi di temi complessi come diagnosi, terapie o prevenzione significa accettare un compromesso tra velocità e accuratezza. Un compromesso che, nel settore della salute, ha conseguenze dirette sulla vita delle persone. Gli esperti avvertono che non basta correggere singoli output o affinare gli algoritmi: serve una riflessione strutturale su dove e come queste tecnologie debbano essere utilizzate.

AI fra consigli e suggerimenti

Per Google, e più in generale per le grandi piattaforme digitali, la questione è anche di responsabilità. Integrare l’AI nei servizi di ricerca implica assumere un ruolo attivo nella gestione del rischio informativo. Si tratta solo di evitare errori evidenti e di riconoscere che alcune aree, come quella della salute e della medicina, richiedono un livello di cautela superiore.

Il caso delle AI Overviews rappresenta un segnale d’allarme per l’intero settore tecnologico. L’AI può essere uno strumento potente di supporto alla conoscenza, ma senza confini chiari rischia di diventare un amplificatore di informazioni sbagliate.