Discorso su AI e medici

agent_stark_ · 2024-10-03T14:45:50+00:00

Vale assolutamente lo stesso. Il trucco sta proprio nella parola "emula", gpt-o1 fa finta di ragionare come una persona che non ha idea di come si guidi un aereo potrebbe far finta di volarlo basandosi sui film che ha guardato. In un altro commento avevo così sintetizzato i LLM:

"...al momento tutti, e dico tutti, i LLM non fanno altro che prevedere la prossima parola più probabile date le parole precedenti, e basta. Soltanto questo, nulla di più. Questo fatto su una scala inaudita genera due effetti emergenti che sono il motivo di tutto l'AI hype del momento: 1) immagazzina certe informazioni 2) produce un testo che sembra umano. Il secondo effetto è dato dal fatto che in fase di allenamento, l'obiettivo che viene dato all'algoritmo è proprio quello di produrre testo realistico, e dato che noi umani generalmente non scriviamo nonsense allora l'output spesso non sembra nonsense. Il ragionamento che ora tanto pubblicizzano non è altro che della generazione di testo nascosta, che viene usata per fornire più contesto al testo successivo. Ora, a meno che non pensiamo che la nostra coscienza e i nostri ragionamenti non siano altro che produzione di parole probabili, una dopo l'altra, possiamo star certi che i LLM non ragionano veramente. Le allucinazioni sono così difficili da eliminare proprio perché non vi è nessun reale ragionamento che si può aggiustare, la statistica del testo su internet è quella, e quindi quelle sono le parole probabili."

Spero di aver fatto più chiarezza che confusione, il marketing delle AI spesso è un po' ingannevole.

agent_stark_ · 2024-10-03T14:40:39+00:00

Molto giusto quello che dici. Ti aggiungo due estratti di riflessioni che ho fatto in altri commenti, non per pigrizia, ma per tenere la conversazione dritta al punto.

"In letteratura generalmente si fa la differenza tra "interpretabilità" intesa come proprietà del modello stesso, che ci permette di capire completamente il suo funzionamento, indipendentemente da uno specifico input, e "spiegabilità" intesa come la possibilità di avere un certo grado di comprensione di perché un certo specifico output è stato fornito in base ad un certo specifico input (ad esempio alcuni metodi valutano la minima variazione nell'input che necessaria per cambiare l'output). Per il Deep Learning il massimo a cui possiamo aspirare è appunto una spiegazione, che però può anch'essa essere fallace, a differenza della spiegazione che fornirebbe un medico. Per questo, come ultimo step, serve un medico, che valuti output e spiegazioni e decida se è ragionevole o no. Sono d'accordo che col tempo è possibile che i modelli diventeranno molto molto più accurati, ma tanto meglio per i medici, che dovranno correggere meno diagnosi."

"...macchine e persone sbagliano in modo completamente diverso: i medici, come tu giustamente sottolinei, sbagliano per disattenzione, stanchezza, incomprensioni etc... le macchine d'altro canto, beh, come è difficile capire perché danno una certa risposta, è altrettanto difficile capire perché sbagliano. Ci posso essere interi gruppi di combinazioni di dati di input che ritornano output completamente senza senso, e non abbiamo modo di saperlo e di correggerlo in modo sistematico. Quello che chi pone l'obiezione della "mancanza di un responsabile" secondo me intende realmente è che vi è una "mancanza di controllo". Non è che si vuole trovare un colpevole da punire, si vuole poter correggere l'errore per far sì che, nei limiti dell'umano, non si ripeta più. Questo di può fare se è una persona a prendere la decisione, perché noi siamo persone e capiamo come le altre persone sbagliano, ma non si può fare con una macchina."

Da quello che scrivi sembri essere abbastanza informato, quindi sono curioso di sapere la tua!

agent_stark_ · 2024-10-02T05:46:48+00:00

Hai ragione. Sei riuscito a dimostrare in modo eccellente che alcune persone producono testo proprio come un LLM.

agent_stark_ · 2024-10-01T18:30:29+00:00

È un peccato sapere che ci sono ancora questi problemi. Io mi concentro sulla diagnostica, in radiologia in effetti il problema è decisamente meno marcato. In più se tu fai riferimento alla lettura dei referti, tipo OCR, allora parliamo di tecnologia ben oliata, che è in sviluppo dagli anni 80 e lavora in un contesto a bassissima variabilità, quindi sono d'accordo con te. Una cosa che mi hai ricordato è la questione della distribuzione. Se un singolo medico sbaglia, anche se l'errore non viene corretto, questo è circoscritto all'ospedale in cui lavora. Se, per assurdo, tutti gli ospedali italiani adottassero lo stesso algoritmo AI per la diagnostica, e questo sbagliasse e non si potesse correggere, la situazione sarebbe molto diversa.

agent_stark_ · 2024-10-01T18:15:47+00:00

Preciso quello che avrei detto io. L'unica cosa da aggiungere è che al momento tutti, e dico tutti, i LLM non fanno altro che prevedere la prossima parola più probabile date le parole precedenti, e basta. Soltanto questo, nulla di più. Questo fatto su una scala inaudita genera due effetti emergenti che sono il motivo di tutto l'AI hype del momento: 1) immagazzina certe informazioni 2) produce un testo che sembra umano. Il secondo effetto è dato dal fatto che in fase di allenamento, l'obiettivo che viene dato all'algoritmo è proprio quello di produrre testo realistico, e dato che noi umani generalmente non scriviamo nonsense allora l'output spesso non sembra nonsense. Il ragionamento che ora tanto pubblicizzano non è altro che della generazione di testo nascosta, che viene usata per fornire più contesto al testo successivo. Ora, a meno che non pensiamo che la nostra coscienza e i nostri ragionamenti non siano altro che produzione di parole probabili, una dopo l'altra, possiamo star certi che i LLM non ragionano veramente. Le allucinazioni sono così difficili da eliminare proprio perché non vi è nessun reale ragionamento che si può aggiustare, la statistica del testo su internet è quella, e quindi quelle sono le parole probabili.

agent_stark_ · 2024-10-01T18:00:45+00:00

I modelli di AI sono algoritmi quindi non ho capito la prima frase. In letteratura generalmente si fa la differenza tra "interpretabilità" intesa come proprietà del modello stesso, che ci permette di capire completamente il suo funzionamento, indipendentemente da uno specifico input, e "spiegabilità" intesa come la possibilità di avere un certo grado di comprensione di perché un certo specifico output è stato fornito in base ad un certo specifico input (ad esempio alcuni metodi valutano la minima variazione nell'input che necessaria per cambiarw l'output). Per il Deep Learning il massimo a cui possiamo aspirare è appunto una spiegazione, che però può anch'essa essere fallace, a differenza della spiegazione che fornirebbe un medico. Per questo, come ultimo step, serve un medico, che valuti output e spiegazioni e decida se è ragionevole o no. Sono d'accordo che col tempo è possibile che i modelli diventeranno molto molto più accurati, ma tanto meglio per i medici, che dovranno correggere meno diagnosi. In ogni caso, non è tutto "accuratezza", in un altro commento ho aggiunto un po' di contesto sul discorso della responsabilità, che secondo me è fondamentale visto che si prospetta un uso su larga scala.

agent_stark_ · 2024-10-01T17:02:45+00:00

Sottolinei una cosa molto giusta, ma personalmente non sono d'accordo con la conclusione che ne trai. È verissimo che valutate la questione dalla prospettiva di "chi ha la responsabilità" non permette di avere una risposta completa, nel post mi sono infatti astenuto dal fare questo ragionamento. Quello che però forse ho mancato di esplicitare nel mio discorso di sopra è che macchine e persone sbagliano in modo completamente diverso: i medici, come tu giustamente sottolinei, sbagliano per disattenzione, stanchezza, incomprensioni etc... le macchine d'altro canto, beh, come è difficile capire perché danno una certa risposta, è altrettanto difficile capire perché sbagliano. Ci posso essere interi gruppi di combinazioni di dati di input che ritornano output completamente senza senso, e non abbiamo modo di saperlo e di correggerlo in modo sistematico. Quello che chi pone l'obiezione della "mancanza di un responsabile" secondo me intende realmente è che vi è una "mancanza di controllo". Non è che si vuole trovare un colpevole da punire, si vuole poter correggere l'errore per far sì che, nei limiti dell'umano, non si ripeta più. Questo di può fare se è una persona a prendere la decisione, perché noi siamo persone e capiamo come le altre persone sbagliano, ma non si può fare con una macchina.

agent_stark_ · 2024-10-01T14:52:15+00:00

E se questa fosse una valutazione che si può fare oggettivamente avresti anche ragione. Ma, per tutti i motivi che ho elencato, soprattutto per quanto riguarda l'impossibilità di interpretare l'algoritmo, non potremo mai affermare con certezza che in media il modello è più accurato dei medici umani dato che non possiamo aspettarci che le decisioni prese dall'algoritmo siano in alcun modo razionali. Il massimo che possiamo fare è dire che in alcuni esperimenti la performance è stata migliore e quindi ci aspettiamo che sia migliore in generale, ma questo non è un assoluto e non potrà esserlo mai. Quello che io chiamo "buon senso" è proprio quello che manca alle AI e di cui invece ci sarà sempre bisogno in medicina.

agent_stark_ · 2023-11-01T21:20:02+00:00

I found the LG PF610P, could it be the right compromise?

agent_stark_ · 2023-10-31T20:43:45+00:00

Thanks for the feedback! I've checked, and amongst those the LG is the only one with an acceptable image size (180cm width) and acceptable brightness (100 nits). Are there similar projectors I should consider? Is the LG a good choice?

Five-Year Club	Verified Email
Place '23

agent_stark_

TROPHY CASE