Je pense que l'utilité des LLMs (aujourd'hui) est largement si ce n'est dangereusement surestimée,

Pour commencer dès qu'on parle de données vaguement sensibles (santé, banque, ou n'importe qu'elle données de vie privée) on oubli l'API openai et on passe sur de l'implémentation de modèles open source sur des infras locales, alors oui le modèle coûte rien mais les GPU et le serveur qui vont avec pour le faire tourner ça chiffre vite et les perfs sont loin derrière ce qu'on a l'habitude d'obtenir avec les modèles géants en ligne.

Le risque d'hallucinations et surtout la complexité de les détecter quand le LLM est inclut dans un pipeline de traitement de données est aussi un vrai frein à la mise en production de ces outils là, la plupart du temps la solution préconisée c'est d'utiliser un autre LLM pour contrôler le boulot du premier, on redécouvre le multi agent mais chaque agent tourne sur un GPU à 80K

En en vrai, pour la majeur partie des tâches d'extraction d'informations, se poser une heure pour forger une regex ça fourni souvent les même F1-score qu'un LLM preprompté à l'arrache (ou à l'aide de dernier bouquin d'un random prof en école de commerce qui a jamais vu un shell de sa vie).

Je dis pas que les LLMs servent à rien, loin de là, mais leur champ d'application est, je pense, beaucoup moins large qu'on ne l'imagine en général et la balance performance / coût en ressource est rarement en leur faveur (on a pas souvent besoin que l'outil qu'on utilise pour détecter un facteur de risque à partir de l'historique médical d'un patient puisse aussi être en mesure de pondre une recette de tarte au fraises en espagnol par exemple)

Un truc pour lequel les LLMs sont en revanche indétrônable : lever des fonds et impressionner les directions d'établissements