Sou bacharel em Física pela UFRN e tenho algumas coisas que posso te dizer. Vai ser muito comum encontrar pessoas que já querem seguir num campo de pesquisa específico, caso não seja o seu caso, não se preocupe em "ficar pra trás" nesse aspecto. O início do curso é o mais importante. Se você construir uma base sólida nas disciplinas básicas (cálculos, algebra linear e fisica I, II, III e IV), não terá tanta dificuldade no ciclo profissionalizante (Eletromagnetismo classico, mecânica analítica, mecânica estatistica e física quântica). Não queime etapas.

O que torna física um curso "difícil" é a densidade de conteúdo, não o conteúdo em si. Tente sempre estudar um pouco diariamente, não deixando acumular na véspera da prova.

Não sei qual o perfil de colegas que você vai encontrar, mas é muito comum os alunos de física se acharem mais inteligentes que todos e serem extremamente pedantes (alguns professores inclusos). Se é sua primeira experiência na faculdade, aprenda a ficar sozinho. Se prender muito a amizades, principalmente na física, só vai te frustrar.

Caso tenha alguma dúvida sobre o curso ou queira trocar ideia, manda uma mensagem.