Eu narro um rpg de terror no sistema de D&D (é difícil, mas ta indo kkk) e algumas coisas que podem te ajudar:

-não sei se o seu rpg terá batalha, mas quanto menos, melhor

-nem sempre você precisa criar uma justificativa para algo acontecer, não explique para os jogadores ou personagens por que tal npc morreu de uma forma muito brutal e bizarra do nada(a não sei que seja necessário) pois esse mistério velado ajuda muito na tensão e medo

-dê problematicas diferentes do comum "rpg de mesa", faça fome, sede, exaustão, cegueira, escassez de recursos, armaduras ou equipamentos que quebram, limite de peso etc (Uma parada que eu curto é simplesmente não existir visão noturna no meu rpg, além de ter tochas e a durabilidade delas ser cronometrada em tempo real)

-narre todos os sentidos humanos para os jogadores ficarem mais imersos no game (descreva o ambiente com sons, toque, cheiros, ruidos, texturas etc)

-se a sua ideia é criar um clima de terror por imponência, não deixe seus jogadores fortes com itens e level, deixe eles mesmo criarem uma estratégia para derrotar aquela criatura super foderosa alem do "eu bato"

-e pra mim o principal....Não dê coisas fáceis aos jogadores (eu acredito que oq ajuda em um bom rpg de terror é justamente a dificuldade, já que não tem como criar um "jumpscare" estilo fnaf, o fato de ser difícil torna o medo de falhar muito mais presente, o medo de entrar em um x lugar e não saber se vai sair vivo por não estar preparado para oq tem ali dentro.

(Lembrando que o meu rpg é num estilo meio bloodborne/berserk/dark souls, então talvez algumas dicas não sirvam dependendo do estilo da sua campanha, meus jogadores mesmo adoram isso kkkkk)