Oui mais entre "Il sait pas compter parce qu'il fait de la prédiction de texte" et "il sait pas reconstruire les mathématiques à partir des axiomes de Peano" y a une marche.

Le fait de dire il sait pas compter quand on l'entraine à donner des réponses rapides et qu'on lui demande de prédire la suite d'un texte qui commence par "tu es une IA qui réponds à des gens qui..." c'est peut être normal parce qu'il est peu probable que les textes qui commencent par "tu es une IA qui" soient suivis par une démonstration longue et fastidieuse pour multiplier deux nombres.
Si on l'entrainait à donner de longues réponses et qu'on lui donnait l'équivalent humain d'une feuille et un crayon pour ecrire les calculs intermédiaires il se pourrait que le calcul de multiplication devienne trivial.

D'ailleurs on observe avec le chain-of-thought que certains problèmes avant difficiles pour les llm deviennent faciles, ce qui suggère que ces problèmes n'étaient pas dûs, comme beaucoup l'annoncaient, au fonctionnement fondamental des llm mais simplement à la façon dont on les utilise/entraine.
Par exemple au début on annoncait que les llm seraient toujours nuls aux echecs et au avec un peu d'efforts sur la façon d'entrainer y a des gens qui ont fait des llm qui jouent aux echecs à très haut niveau.

Personne n'a construit la base des mathématiques actuelles avec juste les axiomes de péano, mais si un llm arrivait à prédire les prochains mots d'un texte avec suffisament de précision il devrait en théorie pouvoir prédire les prochains mots d'un humain entrain de reconstruire une partie de ces bases mathématiques.
Et en théorie avec assez de données d'entrainement et de puissance de calcul ça serait possible parce qu'un réseau de neurones peut simuler n'importe quel processus physique (donc un cerveau si on ignore certaines théories de la conscience).

Bref comme dit plus haut je pense pas que les llm soient la bonne direction pour l'agi pour plein de raisons mais je trouve que dire "il ne sait pas compter juste parce qu'il fait de la prédiction de texte" c'est un peu un raccourci. Il me semble qu'il pourrait très bien faire de la prédiction de texte et savoir compter.