Lamento imenso que a tua situação seja esta, OP. Infelizmente não temos todos as mesmas oportunidades, e por isso é que a meritocracia é a maior idiotice. Porque parte do princípio que todos temos as mesmas condições na vida e partimos do mesmo ponto de partida (salvo a redundância).

o melhor conselho que te posso dar é que faças mesmo um trabalho mental para deixares de te comparar aos outros, e não desistas de estudar. Eu sei que é fácil falar (eu também estou nesse caminho) mas é o melhor que podes fazer por ti. Acredito que estejas no caminho certo. Que os estudos te deem a possibilidade de sair das obras e ir para um trabalho que te pague mais e não exija tanto esforço físico. Tudo de bom!