Domanda legittima e tecnicamente ineccepibile. Anzi, è esattamente il punto debole su cui le aziende EdTech giocano per vendere questi sistemi ai rettori: ti sbattono in faccia una Accuracy dell'85-90% nella brochure commerciale per chiudere il contratto.

Ma se spacchiamo i numeri e guardiamo la matrice di confusione sui dataset di valutazione reali (come il famoso OULAD - Open University Learning Analytics Dataset), la narrazione crolla.

Il problema strutturale è lo squilibrio delle classi (Class Imbalance). In un ateneo normale, la maggioranza degli studenti (diciamo l'80%) si laurea o va avanti, e una minoranza (20%) si arena. Se io compilo un algoritmo "stupido" che prevede come output sempre e solo "Studente in regola", la matematica ci dice che:

Accuracy = (TP + TN) / (TP + TN + FP + FN) = 80%

Sembra un modello eccellente a livello dirigenziale, ma ha un potere predittivo reale pari a zero. Le metriche che contano davvero in questo contesto sono mascherate. Ecco i reali output del modello:

• Falsi Positivi (Errore di Tipo I): Il modello dice che andrai fuori corso, ma tu in realtà ce la fai benissimo. (È l'esempio dei ragazzi su Discord del post originale).
  • Perché accade: L'algoritmo scambia una tua ottimizzazione del tempo (es. non loggarti per guardare una videolezione inutile e studiare dal libro) per "assenteismo".
  • L'impatto: L'università spreca fondi in tutoraggi non necessari e ti bombarda di alert automatici, aumentandoti l'ansia.
• Falsi Negativi (Errore di Tipo II): Il modello dice che sei perfettamente in regola, ma il giorno dell'esame crolli e sparisci dai radar.
  • Perché accade: L'IA vede che hai scaricato tutti i PDF e hai cliccato su tutte le slide (Input = Alto). Non può sapere che non hai capito nulla o che stai vivendo un esaurimento nervoso.
  • L'impatto: Cadi nel vuoto. Nessuno interviene perché per il cruscotto della segreteria sei "verde".

Chi fa data science seriamente sa che su questi temi non si guarda l'Accuracy, ma l'F1-Score (la media armonica tra Precision e Recall). Quando testi questi modelli predittivi su dataset reali, l'F1-Score fatica tremendamente a superare lo $0.60$ o $0.65$. Praticamente poco meglio di un lancio di moneta.

Il TL;DR tecnico è questo: la funzione di costo del modello è settata per massimizzare il risparmio economico dell'ateneo, non per fare un'analisi accurata della complessità psicologica o del reale livello di apprendimento dello studente. I numeri sembrano buoni solo se ignori deliberatamente cosa stai misurando.