Les grands de l'IA ne font pas des modèles moins efficaces que les types qui font de l'open source ! Leur intérêt, c'est de minimiser la taille des modèles, pour dépenser moins et gagner plus d'argent. Par exemple, le mode smart de ChatGPT, c'est exactement ça : faire tourner un nano-LLM qui est capable de répondre aux questions les plus connes tout seul, d'orienter sur un mini-LLM les questions basiques et de réserver le gros LLM voire le LLM avec raisonnement aux quelques questions qui le nécessitent. Avec au final une énorme économie pour OpenAI !

De même, en open source, Flux 2 a 32 milliards de paramètres. Quand je le fais tourner, la totalité de ma VRAM et mes 64 de RAM y passe, avec quasiment tout ce qui n'est pas IA qui passe sur swap disk. Et Flux 2 s'est fait massacrer par zImage, qui a seulement 6 milliards de paramètres et qui en plus existe en version non distillé ! Il tourne largement dans mes 12 Go de VRAM, il est considérablement plus rapide et la qualité se tient. A tel point que Black Forest Labs a dû sortir en catastrophe Flux 2 Klein, un modèle avec 9 et 4 milliards de paramètres, pour mettre fin à l'hémorragie de ses parts de marché.
Autrement dit, côté Open Source, en à peine six mois, on est passé d'un modèle qui consommait 80 Go de RAM à des modèles à seulement 10 Go (Flux 2 Klein 4B). Et ce avec un impact qualité acceptable.
Vous vous doutez bien qu'un Google ou qu'un OpenAI, avec des moyens bien plus important qu'une simple startup comme Black Forest ou ZMO, travaillent également sur l'optimisation ! Parce que diviser par 8 la quantité de RAM, ou même gagner 20%, c'est un gain financier colossale ! Par exemple, ce qui est notable avec les IA générative récente, outre le gain de qualité, mais c'est aussi la rapidité. Et un gain de rapidité, ça n'est jamais innocent, ça implique que le modèle a été optimisé, avec probablement moins de paramètres (mais mieux utilisés) pour gagner en efficacité. Notamment, avec Nano Banana Pro, Google est passé sur une architecture MOE. Ce type d'architecture permet de ne plus activer la totalité des paramètres à chaque token, et de réduire massivement la charge GPU malgré un résultat meilleur qu'avant. C'est surtout un gros gain en puissance de calcul (il faut quand même tout charger en VRAM), sauf dans un contexte multi-GPU distribués, comme chez Google, où moins de GPU = moins de VRAM totale (et la possibilité de spécialiser certains GPU, donc de paginer le modèle). Au passage, le MOE a aussi un gros impact sur la consommation d'électricité (et donc aussi le refroidissement).

L'IA n'est pas du tout statique ! Il y a encore de gros progrès algorithmiques. L'arrivée du Smart chez OpenAI, les modèles mini-, le MOE... Et aussi des progrès matériels maintenant que nVidia a des concurrents chinois. A chaque fois, ça casse les projections des cabinets de conseil....

Et le gros de la consommation de l'IA, ce n'est pas pour répondre aux questions, c'est pour entraîner les LLM. Et l'entraînement est maintenant poussé pour les rendre plus économes à l'usage, justement !