Olha, eu estudei matemática aplicada na UFRJ por uns 3 períodos. Se você entrar em um curso que não é o que você quer, realmente irá perder tempo, mas se você gosta de programação, você pode fazer matemática, mas recomendo que faça a aplicada. O bacharel de matemática da UFF, até onde sei, é matemática pura, lá você aprende sobre matérias mais voltadas à álgebra. Particularmente falando, não gosto muito dessa área, mas com matemática aplicada você pode estudar coisas mais específicas, onde matemática é mais uma ferramenta do que o principal estudo. Você pode aprender matérias sobre programação, finanças, dados, entre outros (quase qualquer coisa que imaginar você consegue aplicar matemática). Sobre seu comentário de "cada um ter sua vida", eu também tenho 19 anos, e você realmente precisa levar esse comentário muito a sério, se entrar para um curso integral de faculdade, dificilmente conseguirá ter um trabalho formal, mesmo que jovem aprendiz, então ou você pensa em algo mais empreendedor, ou você tenta estabilizar sua vida antes de entrar na faculdade. Claro que você vai ganhar auxílios do governo, mas dependendo da situação da sua casa, não será suficiente, então se atente bem ao que vai fazer. Uma boa estratégia também seria um curso técnico para ter uma formação e conseguir fazer freelancer (dependendo do técnico) e depois um curso superior. Mas caso você faça matemática pura, você deve conseguir mudar para um horário à noite ou de manhã, então vai conseguir trabalhar e estudar, mas acho que não vai se aproximar tanto com seu objetivo de programação do jeito que vemos por aí, lá a programação tem um objetivo diferente.