In un esperimento condotto su un chatbot intelligente, questo ha diagnosticato erroneamente i problemi iniziali nell’82% dei casi. Pertanto, i ricercatori mettono in guardia sui limiti e sui rischi imposti dai programmi di chat online per ottenere consulenza medica.

Hai un figlio malato e non sai cosa sta succedendo. Su Internet sei sopraffatto dai risultati associati ai vari sintomi, quindi decidi di consultare un chatbot online. Questo promette di fare una diagnosi basata su tutti i sintomi inseriti. Ma lo fai in modo affidabile? Questo è ciò che si chiedevano i ricercatori dell’Università di Amsterdam. Così hanno deciso di testare l'intelligenza artificiale “ChatGPT”, un chatbot basato su un programma per computer in grado di elaborare e comprendere enormi quantità di testo e di crearne di nuovi.

Oltre alla ricchezza di conoscenze di ChatGPT, è stato anche elogiato per essere uno dei modelli linguistici più avanzati disponibili, consentendogli di sostenere conversazioni naturali con gli utenti su una varietà di argomenti. È molto divertente per l'utente quando pone domande mediche. Inoltre, era noto da ricerche precedenti che modelli linguistici come ChatGPT possono effettuare diagnosi corrette superiori a 65 (nei sei casi testati). Non è ancora noto se il chatbot abbia conoscenze diagnostiche sulle malattie infantili. Questo è interessante perché spesso sono diversi dagli adulti.

Problemi di dentizione
La diagnosi pediatrica può essere particolarmente difficile perché è necessario tenere conto non solo di tutti i sintomi di un determinato paziente, ma anche della sua età. Per verificare quanto fosse abile ChatGPT in questa specialità, gli scienziati hanno mostrato al chatbot 100 casi medici. Questi casi descrivevano i reclami, l'anamnesi e gli esami fisici di bambini con varie condizioni. Si va dall'asma alle sindromi genetiche rare. Il chatbot doveva quindi fornire la diagnosi corretta o indicare che non lo sapeva.

Per semplificare le cose, lo studio ha utilizzato un solo approccio per interrogare il chatbot per tutti i casi di studio. Innanzitutto, i ricercatori hanno incollato il testo del caso, quindi hanno inserito il seguente messaggio: “Elenca diagnosi differenziale e diagnosi finale”. In altre parole: “Scopri le possibili diagnosi che potrebbero essere associate alla condizione, quindi determina la causa più probabile dei sintomi”.

Risultati ed errori
I risultati non furono davvero eccezionali. Il chatbot ha fatto la diagnosi corretta solo nel 12% dei casi e l'ha sbagliata nell'82% dei casi, rispetto alle diagnosi dei medici. Nel 6% dei casi non vi è stata alcuna risposta. Lo studio afferma che il chatbot ha commesso anche molti errori che un medico umano non commetterebbe, come ignorare l’età del bambino, confondere i sintomi con le cause o addirittura inventare malattie che non esistono. “Il chatbot che abbiamo valutato – a differenza dei medici – non è stato in grado di identificare alcune relazioni, come quella tra autismo e carenza vitaminica”, afferma lo studio. Inoltre, le informazioni di ChatGPT non vengono aggiornate regolarmente, quindi potrebbero mancare anche gli approfondimenti più recenti.

Gli scienziati hanno quindi concluso che ChatGPT non è adatto (ancora) per identificare i problemi iniziali e che sono necessari molti miglioramenti prima che chatbot come questo possano essere utilizzati in modo affidabile come strumento per i medici. In ogni caso, gli utenti dovrebbero fare attenzione a non affidarsi ai chatbot online per ricevere consulenza medica, avvertono i ricercatori. Per questo è sempre meglio rivolgersi a un vero medico.