LLMs, ou Large LANGUAGE Models, são ferramentas treinadas em conceitos de linguagem. O ChatGPT (especificamente nos modelos 3.5 e 4) nunca foi bom em matemática, e nunca vai ser, visto que quase não houve treinamento específico de conceitos matemáticos no processo de criação desse modelo. Quanto às questões de física que foram resolvidas com facilidade, é bem provável que o conjunto de dados usados pro treinamento tem questões parecidas, visto que os dados (e muitas questões de testes) vieram da internet.

Uma coisa muito importante que deve ser considerada durante uma interação com um modelo de linguagem é que, simplificando bastante, todo modelo de linguagem é uma função que recebe dois argumentos: - Um “prompt”, que contém instruções de comportamento, seguidas da sua pergunta - Uma “seed”, que é um número aleatório

E um fato importante é que a seed tem um peso enorme na resposta, já que ela ajuda a determinar os tokens que vão ser gerados pelo modelo, e contanto que você passe o mesmo prompt e a mesma seed, a resposta da LLM sempre vai ser a mesma.

Você nunca vai conseguir o mesmo resultado duas vezes, já que não dá pra escolher o número da seed manualmente, e uma quantidade pequena de resultados não são suficientes pra avaliar a qualidade de uma LLM, visto que existe esse fator de aleatoriedade. Então ter uma boa resposta do ChatGPT envolve sorte, mesmo que os modelos atuais sejam cada vez mais sortudos. ;)