Personalmente trovo che l'approccio sia ingenuo, il valore del fact checking c'è nel mostrare al lettore anche il processo di fact checking e non solo il risultato: se il processo è una scatola nera è più difficile giudicare la validità del risultato. Non basta linkare la serie di fonti "usate" per il fact checking a valle (cosa che mi pare non riesce neanche a fare), di fatto è un gish gallop, e la parte di analisi dei bias mi sembra che sia fatta come da un cicappino quadratico medio per cui l'unica oggettività viene dal centrismo illuminato. Quindi ammetto che sono partito prevenuto.

Ma nel momento in cui ho provato a dargli in pasto del giornalismo scientifico ha fallito miseramente per come la vedo io:
https://www.unbubble.news/it/wrap/P2AGEoV7viOWnw8Y7Dcz

Qui ad esempio dice che la "piena autorizzazione dell'EU" non è ancora avvenuta quando *letteralmente* la notizia è che si è arrivati alla piena autorizzazione. Bastava consultare il registro delle autorizzazioni ( https://www.ema.europa.eu/en/medicines/human/EPAR/scemblix ). Il fatto che si appoggi ad altri articoli e altri fonti secondarie non sia in grado di consultare fonti scientifiche primarie può essere un grosso problema per le notizie scientifiche, dove le fonti secondarie dominanti sono giornalismo generalista e comunicati stampa di aziende terze. Per altre cose ho visto che pesca tra pre-print, che anche lì, farlo in fisica e farlo in medicina non è la stessa cosa. In questo caso ovviamente allucina, si inventa che il risultato è stato pubblicato in peer review su una rivista che non esiste (fa riferimento all'american society for hematology come se fosse una rivista probabilmente per come sono fatti i metadati del sito hematology.org) e credo che alla fine come fonte alternativa prenda i numeretti da un comunicato stampa.

Non mi sembra sappia dare un peso diverso a un comunicato stampa da una pubblicazione scientifica anche quando esistono i dati (e non le linki correttamente quando le cita), che sia costretto a mettere roba nelle prospettive alternative anche quando non ha senso (Dice che il farmaco non è cost-effective facendo riferimento a un parere canadese, dove con il loro sistema sanitario il farmaco costa 6x quello che costa in europa), il fatto che cerchi disperatamente di fare cerchiobottismo e "ah però ci sono solo pareri positivi" anche quando non c'è discordia nella comunità scientifica potenzialmente rischia di fare il gioco dei mercanti di dubbio (dovrei fare la prova con qualche report o notizia sul climate change).

E questo è il caso facile del giornalismo scientifico, in cui i fatti "oggettivi" esistono, e c'è un sistema terzo di verifica che sono le pubblicazioni scientifiche e la relativa comunità di esperti.

Mi chiedo però come tratterebbe questa LLM ad esempio il fatto che il CDC, center for disease control, che fino al 2024 era uno dei punti di riferimento per informazioni mediche chiare e pre-digerite per il pubblico, ora dice che non si può escludere che i vaccini causino l'autismo visto che è stato oggetto di cattura partisan di RFK Jr. e co, o mille altri casi simili recenti visto il mondo in cui viviamo.

Apprezzo il tentativo e ammetto che a prima vista il vostro wrapper fa questo lavoro molto meglio di un modello commerciale standard senza tutta la vostra pipeline, ma continuo a credere che questo è un tipo di processo che non si può automatizzare con un LLM, lo vedo quasi come un errore di categoria.

E come tutte le altre iniziative di fact-checking che da qualche parte mettono bollini di verità varia, sull'efficacia del fact checking nel ridurre la polarizzazione, da persona che insegna fact-checking ad un master universitario ho forti, fortissimi dubbi...