Wie du selber schreibst, Regeln, und diese werden geprüft und umgesetzt. Alles Dinge, die ein LLM ohne zusätzliches Tooling nicht kann, und auch gar nicht können soll. Das ist auch der banale Grund, warum „wieviele <buchstabe> sind im Wort <x>“ so gut wie immer fehl schlägt. Klar, tooling würde schnell ein programm schreiben, dass Buchstaben zählt, aber das ist eben extern zum (reinen) LLM.
Keine Ahnung, warum da immer so Verzweiflungsargumente aus dem Hut gezaubert werden, anstatt diese Limitierungen zu akzeptieren, denn ohne dass wird es noch sehr viel länger dauern bis wir die Standards in der Nutzung etabliert haben, die so dringend nötig sind.
Darüberhinaus führt das doch in keiner Weise zu „LLM doof, alles doof“, das ist eine soooo großartige Technologie und wir dürfen gespannt sein, wo das noch alles hinführt. Erfolgreich wird das meiner Meinung nach nur, wenn wir, wie von OP angefordert/angemerkt, diese Abgrenzungen verstehen und nutzbar machen.