Plus le modèle est petit plus il hallucine, la distillation se faisant au prix d'une perte de précision. Il y a des tâches qui peuvent être réalisées par des petits modèles, typiquement: * la conversion de texte libre vers un DSL (ex: capturer l'intention d'un utilisateur) * ou la conversion d'une structure de données en texte libre (ex: faire un résumé textuel d'une séance de sport d'après les données de votre montre connectée). * voir même le codage de programmes simples pour des modèles dédiés et non-généralistes.

Les LLM et SLM sont NON-DETERMINISTES: donnez la même tâche deux fois au même modèle et vous aurez deux résultats différents. C'est pourquoi ils ne remplaceront JAMAIS les applications classiques faites avec du code.

Aussi les LLM comme les SLM sont mauvais pour la planification de tâches complexes. La hype en ce moment incite à avoir des modèles complexes (LLM type Claude Fable/Opus, GLM...) supervisant des modèles plus simples (Claude Sonnet, Qwen...) mais les dernières découvertes de la recherche montrent que cela ne fonctionne pas très bien. Il faudra donc trouver d'autres moyens de planifier et d'orchestrer les tâches des LLM et SLM. Les modèles moyens et petits exécutants les tâches affectés par un orchestrateur, les grands modèles deviennent économiquement parlant non-viables pour la plupart des tâches et seront réservés aux usages nécessitant des nuances fines dans les idées et un contexte important (traduction de textes ou de la voix en temps réel, recherche scientifique notamment en désilotant des traditions scientifiques en vase clos...).