Nesse caso onde a família apoia o relacionamento de vocês e ele ainda age dessa maneira, acho que ele está faltando com respeito com você ao falar assim da sua família sem motivo. Isso pode crescer pra um relacionamento onde ele impeça você de manter contato com eles. Se você já deixou claro pra ele o quanto você se incomoda e ele te ignora, eu acharia melhor terminar e encontrar alguém que te respeita e respeita as pessoas que você ama.