L’espansione dell’intelligenza artificiale nel campo della salute sta ridefinendo il modo in cui l’informazione medica viene cercata e assimilata dagli utenti. Tool avanzati di generazione linguistica e chatbot vengono consultati quotidianamente per sintomi, diagnosi o persino terapie. Tuttavia, l’aumento di casi di consigli medici inesatti o fuorvianti solleva interrogativi sulla reale sicurezza di queste tecnologie. Risposte presentate con linguaggio medico autorevole, ma distanti dalle linee guida scientifiche, vengono spesso percepite come affidabili da un pubblico sempre più incline alla ricerca autonoma di indicazioni cliniche online. Questa tendenza accresce il rischio di errori, alimentando il dibattito sugli standard di qualità, sulla trasparenza e sulla necessità di controllo umano nell’interpretazione e nella trasmissione delle informazioni sanitarie.
Errori dei chatbot medici: dati, ricerche e casi eclatanti
Numerosi studi pubblicati negli ultimi mesi hanno evidenziato la frequenza sorprendente degli errori prodotti dai sistemi automatici. Un’indagine dell’European Journal of Pathology, ad esempio, ha confrontato le performance dei chatbot di intelligenza artificiale su 200 quesiti clinici: il tasso di risposte contenenti almeno un errore ha raggiunto circa il 70%. Il problema si è manifestato su più livelli:
- Risposte errate su diagnosi delicate come quelle oncologiche, con confusione tra diversi tipi di tumore o attribuzione di parametri fuori contesto.
- Indicazioni potenzialmente rischiose sul trattamento di malattie, comprese raccomandazioni sull’alimentazione in casi di cancro al pancreas opposte alle linee guida cliniche.
- Consigli privati di fonti chiare e di adeguati avvertimenti sul rischio di autodiagnosi.
Secondo una ricerca condotta da team dell’Icahn School of Medicine at Mount Sinai e pubblicata su The Lancet Digital Health, le principali piattaforme di IA, tra cui strumenti largamente usati nel quotidiano, non riescono a distinguere in modo affidabile fra informazioni autentiche e contenuti plausibili ma inventati. Errori di contesto hanno portato alla diffusione di pratiche inadeguate, come il suggerimento di rimedi privi di validità scientifica (ad esempio il presunto beneficio terapeutico del latte freddo per sintomi da esofagite emorragica).
L’inchiesta del Guardian ha documentato casi in cui le AI Overviews di Google hanno fornito risposte lacunose, generalizzate e in contrasto con indicazioni consolidate, accentuando il rischio che l’utente consideri quelle “prime risposte” come definitive.
Sono emersi, inoltre, riferimenti bibliografici falsificati o irraggiungibili in circa il 30% delle risposte generate, un fenomeno noto come “allucinazione”, dove l’algoritmo produce citazioni verosimili ma inesistenti.
Complicazioni su scala globale sono state osservate anche nello studio dell’Oxford Internet Institute, che ha segnalato come le piattaforme AI inducano a sottovalutare i sintomi e ad agire in modo non appropriato rispetto alla gravità reale della situazione clinica.
Perché l’intelligenza artificiale sbaglia in ambito sanitario
Le cause della diffusione di errori nei suggerimenti generati dall’AI sono molteplici e radicate nella struttura stessa dei modelli linguistici. Questi sistemi sono stati concepiti per generare il testo statisticamente più probabile da una sequenza di input, senza una reale comprensione del contesto clinico o una verifica fattuale delle affermazioni. Questa natura predittiva espone a tre rischi principali:
- Sensibilità al linguaggio utilizzato: Un’affermazione espressa con tono sicuro e lessico specialistico viene spesso replicata anche se è errata.
- Incoerenza nelle risposte: Variazioni minime nei dettagli forniti dagli utenti possono portare a consigli diametralmente opposti, anche in presenza di sintomi gravi simili.
- Dipendenza dai dati di addestramento: La qualità dell’informazione prodotta riflette profondamente quella dei set di dati su cui il modello è stato istruito. L’assenza di fonti affidabili e l’imitazione di discussioni informali online possono contaminare l’output di questi strumenti.
La disconnessione tra performance “in silico” e risultati reali è stata messa in luce da diversi studi accademici: le intelligenze artificiali che superano brillantemente i test a risposta multipla, si rivelano poi inaffidabili quando impiegate da persone comuni per casi sanitari concreti. Spesso, gli utenti non trasmettono all’algoritmo dettagli essenziali, e viceversa la piattaforma non segnala situazioni d’emergenza come dovrebbe.
Conseguenze dei consigli medici errati dell’AI sulla salute dei pazienti
Gli effetti delle informazioni sbagliate o fuorvianti in ambito sanitario possono essere profondi e, nei casi più gravi, anche fatali. Diverse organizzazioni mediche e società scientifiche hanno messo in guardia rispetto alle seguenti ricadute:
- Falsa rassicurazione o allarme ingiustificato: Risposte non contestualizzate portano pazienti a sottovalutare segnali di pericolo o, al contrario, a sviluppare ansia eccessiva per condizioni non gravi.
- Scelta di terapie inappropriate: Quando l’IA consiglia erroneamente l’esclusione di determinati alimenti o l’applicazione di pratiche obsolete, si rischia il peggioramento delle condizioni cliniche (ad esempio l’alimentazione del paziente oncologico).
- Ritardo nell’accesso alle cure specialistiche: La fiducia in chatbot che suggeriscono di non cercare assistenza medica o di ricorrere a rimedi “casalinghi” può allungare i tempi di diagnosi e trattamento.
- Generazione di documentazione falsa: L’utilizzo di fonti inesistenti nei suggerimenti, soprattutto in contesti professionali, può compromettere la qualità della formazione di giovani operatori sanitari e distorcere la letteratura di settore.
L’assunzione acritica di indicazioni automatizzate favorisce uno scenario in cui la percezione di autorevolezza dell’AI supera il necessario spirito critico richiesto da situazioni che competono esclusivamente a professionisti con esperienza clinica.
Limiti attuali dei sistemi AI e necessità di nuovi standard di sicurezza
L’applicazione dei modelli AI in campo medico sconta diversi limiti strutturali e regolatori. L’attuale generazione di sistemi, pur dotata di una solida base enciclopedica, non è progettata per la gestione delle complessità sanitarie reali. Tra le principali carenze evidenziate dalla letteratura scientifica vi sono:
- Impossibilità di valutare in modo dinamico il contesto del paziente, con errori frequenti nella stratificazione del rischio.
- Allucinazioni informative, ossia la creazione di risposte verosimili ma prive di fondamento scientifico.
- Inadeguatezza delle metriche di valutazione: Le attuali certificazioni di affidabilità sono basate su scenari teorici e non su test con utenti reali.
La comunità scientifica auspica un cambio di paradigma: non basta dimostrare conoscenze teoriche, occorre provare la capacità di gestire casi realistici mediante sperimentazioni controllate. Gli standard di sicurezza dovrebbero avvicinarsi a quelli previsti per i farmaci—prevedendo trial clinici prima del rilascio su larga scala dei sistemi AI destinati al pubblico.
Le misure delle piattaforme digitali: la risposta di Google e le sfide future
Dopo l’emergere di errori sistemici nei risultati delle AI Overview nelle ricerche sanitarie, Google ha adottato misure concrete: la rimozione delle risposte automatiche generate dall’intelligenza artificiale per una vasta gamma di query legate a condizioni e sintomi medici. Al loro posto, sono tornate a essere prioritarie le fonti accreditate e i siti di riferimento specialistico.
La decisione di Big G rappresenta una presa di coscienza della necessità di maggiore cautela e trasparenza nel settore. Tuttavia, il caso dimostra anche la fragilità di affidarsi a “sintesi automatizzate” non supervisionate in ambito YMYL (Your Money Your Life).
Le sfide future richiederanno l’introduzione di nuovi filtri, test d’affidabilità su larga scala e una più stretta collaborazione tra sviluppatori, istituzioni sanitarie e regolatori. È necessario un quadro normativo che stabilisca identità delle fonti, limiti delle sintesi e obbligo di consulto medico umano ogni qualvolta il rischio per la salute lo richieda. Solo l’interazione costante con la comunità scientifica e il rispetto delle linee guida internazionali potrà garantire che la tecnologia si trasformi, nel tempo, da generatore di rischi a reale valore aggiunto per la salute collettiva.
