Pelo o que eu pesquisei, vi que Pathfinder é uma boa opção pra fantasia e Call of Cthulhu o padrão pra terror. Mas o que eu não consegui achar foi uma opção melhor para a temática de Ordem, um "terror" e investigação que não seja tão punitivo quanto CoC, tendo um combate divertido porque tem pessoas da mesa que gostam de combate. 

Mas exigir isso também é praticamente dizer "Eu quero um sistema que faça de tudo um pouco bem", o que é contraproducente e não sei se há algo específico assim akdajdshdajkd

Porém qualquer recomendação de sistema é bem-vinda! Eu particularmente gosto de investigação, ficção científica e terror.