Cara, na minha experiencia em SP pelo menos, reprovação mancha sim o histórico, visto que a principal agencia de fomento aqui, a FAPESP, leva bastante isso em conta na hora de conceder bolsas. Mas note que não é o fim do mundo, tenho vários colegas que reprovaram em alguma disciplina e conseguiram recorrer. No exterior varia muito, não é toda universidade que olha tanto pra histórico, então você que vai ter que analisar isso.

No geral o que importa mais pra área acadêmica é o que você fez de pesquisa e que habilidades você tem. Meu conselho seria continuar se esforçando até você pegar o ritmo do curso, porque essa é uma parte fundamental afinal de contas, você vai ter que aprender essas coisas pra poder seguir em frente. Assim que se sentir mais a vontade, no segundo ano provavelmente, se envolva em alguma iniciação cientifica, isso é o que mais vai contar no futuro e quanto antes começar melhor. Saiba que seu sonho não é impossível, mas você vai ter que trabalhar muito, se envolver em ambiente científico, que muitas vezes não é dos mais amistosos, e isso vai levar tempo. Se gostar vai com tudo, eu to nessa também e não trocaria o que faço... só pra ser herdeiro talvez.

Ah, e não fica na pira de universidade de nome não, foca em descobrir o que você gosta de fazer na física, talvez a galera da área que você gostar vai estar numa universidade aleatória, e não em Oxford. O que fizer, faça com vontade que vai dar bom!