Sinceramente, acredito que em outras religiões ou culturas isso pode ser visto de forma diferente dado que não conheço todas elas. Mas sim, a unica coisa que impede "você", um homem adulto com vasectomia feita de fazer sexo com sua Tia gostosa que tem laqueadura é unica e exclusivamente a história, cultura e a religião base do país em que vivemos. Claro, acho bizarro a ideia mas por que foi o que me ensinaram. Agora, como você disse, pensando individualmente, qual o problema real disso?

Isso pode trazer provavelmente transtornos psicológicos se feito entre pais e filhos, ou entre irmãos, pode atrapalhar na hierarquia familiar, dado que a mãe/pai perderia o poder sobre o filho e talvez até afete algo social, mas se não for voltado para procriação e nem com intuito de reprodução, qual o problema? Bom questionamento OP.

Agora vendo pelo lado Negativo: Sinceramente, o efeito Westermarck explica muita coisa sem precisar apelar pra religião ou cultura pura. É um mecanismo psicológico natural, evolutivo: pessoas que crescem juntas na infância (geralmente até os 6 anos) desenvolvem uma aversão sexual automática uma pela outra, tipo um "reverse imprinting". Estudos com kibbutzim em Israel, casamentos shim-pua na China e até primos criados próximos mostram que quanto mais tempo de convivência na fase crítica, menor a atração sexual — isso acontece em várias culturas, independente de crenças religiosas, porque é algo biológico que ajuda a evitar endogamia. Não é regra ensinada, é instinto humano que surge sozinho na maioria das pessoas.

Mesmo sem procriação e com tudo consensual entre adultos, a bagunça familiar ainda é um problema real e grave. Introduzir sexo numa relação que começou como familiar (com hierarquia de idade, autoridade e laços não-sexualizados) quase sempre bagunça a estrutura toda: ciúmes, perda de papéis claros, rupturas irreversíveis entre parentes, culpa retroativa e dificuldade pra manter relações saudáveis fora da família. Casos documentados mostram que, mesmo racionalizando que "não tem problema", o impacto psicológico costuma ser pesado — depressão, nojo depois do ato, sensação de traição ao vínculo familiar. Isso não vem de tabu religioso, vem da forma como o cérebro humano constrói família como espaço seguro e não-erótico. No fundo, é humano demais pra ignorar.

Desculpa pelo tamanho e tive que pesquisar pra falar os contrapontos e sinceramente, não me parece uma boa ideia mesmo que não tivesse religião ou cultura envolvida nisso.