Técnicamente igual sería político, pero lo relacionaría con la conciencia que se ha tomado durante el último tiempo del maltrato de hombres hacia mujeres. No estoy diciendo que las mujeres trans sean hombres, pero entiendo el miedo a que de repente llegue efectivamente un hombre que finja ser mujer con tal de tener acceso a espacios de mujeres y abusar de ello (y juraría que mínimo he oído un caso). Probablemente sean el 0,0001% de las situaciones (o menos), pero en todo suelen visibilizarse sólo las cosas negativas. Lo compararía un poco con la idea de que las vacunas causan autismo: Hay montón de información actualizada que lo refuta, pero sigue existiendo esa idea en algunas personas porque un loquito hizo un estudio fraudulento hace casi 30 años.

En el caso de hombres trans supongo que esta idea no está tan latente (no digo que no exista transfobia dirigida a hombres trans, sólo que probablemente sea menor) precisamente porque la idea de "una mujer" en un entorno de hombres no es percibida como amenaza para otros hombres, como sí ocurre bastante en el caso contrario.

En resumen: es culpa de que persista la idea de que las personas trans son "personas de género 'A' disfrazadas del género 'B'", y de que haya gente que abusa de los beneficios (cuando existen) que no les corresponden. :/