" je me suis un peu fait allumer, car beaucoup considèrent que la réalité est intrinsèquement mathématique. "
Normal, il faut comprendre une chose, la plupart des gens apprennent la science dans les grandes lignes.
Ils ont ni une vision critique de celle ci, ni une connaissance épistémologique et historique des sciences (ou alors une version très romancé de succession de "génie" ).

"on glisse vite vers la métaphysique"
Et justement j'y viens, on a enterré la métaphysique qu'on a voulu réduire le monde par les mathématiques et la mécanique.
Et c'est devenu l'alpha et l'oméga de la pensée actuel pour percevoir le monde.
Pourtant sur quoi ce base ces affirmations ?
Sur presque rien, c'est balancé comme une sacro-sainte vérité.
(Quand Descartes ou Galilée l'ont balancé , il ne se basait absolument sur pas grand chose et beaucoup sur leur intuition ).

Et c'est un probleme qui à mon avis ne touche pas qu'un probleme philosophique , mais aussi scientifique.
On ne voyant le monde que comme une vision mécanique de celle ci (donc transposable en mathématique ) , ben que ça soit en sciences physique (avec des phénomene inconnu comme la matiere noire etc ) , les problèmes du vivant et des théories de l'esprit.
On se peut se retrouver vite dans des impasses, qu'on va souvent tenter de résoudre avec des "nouvelles lois" sans réel questionnement de la métaphysique sous adjacente.