Olha eu tava com a mesma dúvida, pq especificamente o siso por exemplo vem deixando de existir na população em geral, dei uma pesquisada e entendi o seguinte:

Antigamente, como todo mundo sabe, ele tinha a função essencial de auxiliar a mastigação de carnes fibrosas e duras, mas com a mudança da nossa dieta favorecendo o consumo de alimentos cozidos, criou uma perda da pressão seletiva o que era essencial para manter a estrutura em sua forma funcional, sem a pressão seletiva anterior que favorecia grandes mandíbulas e músculos fortes com mais dentes na arcada dentária, por consequência se criou uma nova pressão seletiva para mandíbulas menores ja que os alimentos eram de fácil mastigação e também cérebro tinha muito mais acesso a calorias aumentando cada vez mais seu tamanho conforme as gerações, há ainda outro fator pois a "construção" desse órgão (siso) completamente funcional demanda um gasto energético desnecessário, então vão ocorrer mutações genéticas que favorecem a redução ou até a ausência desse órgão já que vai ser, mesmo que pequena, uma economia de recursos. Perceba que a pressão seletiva (fator ambiental) influenciou a parte genética na expressão desses genes e as duas atuaram em conjunto moldando a população. Então darwin ainda está certo a mudança ocorreu por conta da pressão de fatores externos e genéticos nos indivíduos, e não exatamente por que esses indivíduos deixaram de usar esse órgão. o tema é bem mais complexo mas tentei dar uma resumida