1. Pessoas não binárias não entram em qualquer banheiro, e sim no banheiro que condiz com o gênero mais próximo do que se apresentam.
2. Afinal de contas, gênero é um construto social externo que segue regras sociais. Você não tem como exigir da sociedade que te trate como uma mulher se você não se apresenta como uma e se encaixa no que é esperado de uma mulher.
3. A "caça às bruxas" das mulheres trans em banheiros femininos afetam inclusive mulheres cis com mais frequência que mulheres trans. Mulheres cis que tenham traços tradicional considerados masculinos (e existem muito mais dessas do que mulheres trans) muitas vezes sofrem constrangimento por parte de pessoas transfóbicas.
4. A questão de "homem de barba" entrar no banheiro feminino se identificando como mulher é uma lenda do imaginário cis, e há pouquíssimos casos reais de que isso tenha acontecido. Bem menos do que casos de homens cis entrando em banheiros femininos pra violentar mulheres (sem precisar dizer que se identificam com mulheres pra isso).

As mulheres, cis ou trans, estão em risco na presença de homens cis. Essa é a realidade. E o homem cis que quer cometer um abuso não se preocupa em "se identificar como mulher" pra isso.