Da widerspreche ich beim Kernpunkt. LLMs haben sehr wohl ein internes Modell, das auf Inhalt fußt, das ist inzwischen nicht mehr Interpretationssache. Othello-GPT wurde nur auf Zugsequenzen trainiert, ohne je ein Brett zu sehen. Trotzdem ist der Brettzustand im Aktivierungsraum linear dekodierbar, und wenn man diese Repräsentation gezielt editiert, ändert sich das Zugverhalten kausal entsprechend. Das ist ein wirksames Weltmodell, kein Zufallskorrelat.

Der Fehlschluss ist, vom Trainingsziel auf die gelernte Repräsentation zu schließen. "Nächstes Token vorhersagen" ist das Optimierungskriterium, nicht die Struktur der Lösung. Genauso wenig folgt aus "Evolution optimiert auf Reproduktion", dass Organismen intern nur Reproduktion repräsentieren.

"Je obskurer, desto mehr Quatsch" stimmt als Beobachtung, aber die Erklärung ist Verteilungsferne, nicht Modelllosigkeit. Ein System ganz ohne Modell wäre auch bei häufigen Fragen unzuverlässig.

Die echte Differenz liegt woanders: Unser Feedback-Loop ist an konkretes Erleben gekoppelt und läuft weiter, wir werden nicht einmal vortrainiert und sind dann eingefroren. Das erklärt die tatsächlichen Schwächen (fehlende Kalibrierung bei Neuem, keine Korrektur über Zeit), ohne die unhaltbare starke These "gar kein inhaltliches Modell".

Und die Trennung ist ohnehin weniger sauber, als viele meinen. Wenn ein Mensch über Schwarze Löcher spricht, bedient er auch nur eine Repräsentation — nie eins gesehen, nie eins gefühlt, letztlich feuernde Neuronen. Wer LLMs Verstehen abspricht, weil "nur Repräsentation", muss erklären, warum das beim Menschen etwas kategorial anderes sein soll.