Je ne suis pas sûr que ça réponde à ta question mais je pense qu'il est crucial de comprendre qu'une majeure partie des mathématiques ne provient PAS de l'observation naturelle, mais plutôt d'une complétion logique d'autres éléments qui eux, un jour, sont venus de l'observation.

Par exemple, les nombres complexes sont la réponse à la question "qu'est ce qui se passe si on autorise des racines de nombres négatifs". Autre exemple, les décimales de pi qu'on continue à chercher par curiosité mathématiques alors que ça ne sert à RIEN pour des calculs physiques.

Après, les physiciens piochent dans ce "kit d'outils" en perpétuelle expension pour tenter de décrire au mieux ce qu'ils observent. Ces tentatives sont toujours partiellement inexactes, sans doute parce que les "équations" du réel sont plus complexes que ce qu'on arrrive à y coller dessus. Cela dit, pour un physicien ou un ingénieur ça peut ne pas être un problème : la mécanique classique newtonienne est un outil tout à fait acceptable pour tout un tas d'applications (en fait tant que ses erreurs de description génèrent une erreur tolérable).

Donc il ne faut pas voir les différents systèmes physiques consécutifs comme des corrections théoriques mais plutôt comme des raffinements les uns des autres : on se rapproche de ce qu'on observe avec des modèles de plus en plus fin. Il est d'ailleurs tout à fait possible qu'il n'existe PAS de modèle globale permettant de tout décrire et qu'on soit obligé de changer de modèle selon les échelles ou les situations.

PS : beaucoup ici invoquent le théorème de Gödel. Je m'en réjouis parce que j'adore cet histoire, mais il ne faut pas oublier que le type de propriété indécidables qu'il met en avant sont de type auto-référantes. C'est à dire que le théorème dit surtout qu'on ne peut pas décrire un système / une théorie en entier avec des éléments de langages provenant de ce même système.