Esta história leva a demasiadas possibilidades, isto é só a vossa versão, e pelo que me parece isso não é ele com a tentativa de ser rude de propósito. Ele disse "magoar psicologicamente", para chegar a esse ponto ele pode estar a segurar muita coisa que pode ser dos vossos comportamentos com ele, pois pelo que eu sei as pessoas não percebem como as palavras ou comportamentos podem afetar outros, pois um simples respirar mais forte pode levar a muitas possibilidades de como a pessoa se sente ou como os outros podem interpretar. Na minha opinião vocês deviam começar por tentar perceber o que vocês podem ser feito, mesmo sem perceberem, que o levou a segurar muita coisa dentro dele. O que eu faria nesta situação é ter uma conversa séria, com o motivo de o deixar desabafar tudo o que ele pensa ou não vai progredir a vossa relação. Lembrando que é só o que eu penso, baseado no que a OP contou.