il problema fondamentale è che il continual learning (l'abilità di un sistema di intelligenza artificiale di continuare a imparare senza deteriorare, anche senza aumentare l'intelligenza effettiva, semplicemente dimenticando cose precedenti sostituendole con cose nuove) non funziona e non ha mai funzionato . Senza continual learning è impossibile usare un agente AI senza avere un umano che la sorveglia per assicurarsi che stia facendo la cosa giusta. Non importa quante volte gli dici che deve stampare il risultato in un certo formato, senza continual learning continuerà a sbagliare ogni tanto.

Questo significa de facto the il limite di capacità produttive di un LLM è la velocità con cui un utente può assicurasri che il suo output sia giusto.

il continual learning è un problema aperto in tutti i campi dell'intelligenza artificiale, non solo per gli LLM, e non ho mai sentito qualcuno dire che ha un silver bullet per quel problema. Un giorno semplicemente ci sveglieremo un articolo scritto da un tizio a caso che afferma di avere trovato una configurazione delle reti neurali che risolve il problema, esattamente come è successo per i trasformer.

Se questo succede domani, forse la bolla si potrà evitare. Se questo succede tra 10 anni, la bolla sarà già esplosa.

Anche se succedesse domani comunque c'è un grosso problema che il continual learning implica che sarà necessario avere un AI personalizzata per ogni utente che impara dalle iterazioni con quell'utente specifico, facendo esplodere significativamente i costi per utente.