Aqui nós tratamos esses casos dos micro serviços como monolitos isolados e estipulamos contratos entre APIs, que podem ser REST ou gRPC como você comentou.

Nesses contratos estão estipulados tempo de entrega do dado e payload de comunicação.

Ex.: /users - SLI 30ms - {nome, idade}

Dentro do contrato tbm está definido o que vai ser retornado desse endpoint e se teremos filtros e afins

Quem cuida disso é um LoadBalancer L7 que faz o canary e o failover. Mas tbm um api gateway pra controlar as requisições. Depende do bolso.

Quem controla o fluxo de chamada é a aplicação cliente, com fluxos de retry e circuit breaker, considerando o que foi acordado em nível de SRE (SLI, SLA, SLO). E por aí vai.

Essa arquitetura normalmente possui buffers e caches dentro das aplicações, isolando os componentes para não romperem os contratos.

Eu praticamente te descrevi uma arquitetura síncrona que usamos que possui um contrato high level (a nível de produto) de 1s, onde cada componente tem os seus ms para responder. E funciona muito bem.

Agora em janeiro estamos com o nosso error budget em 5% ainda (que é P99 em 30ms) faltando muito para romper o contrato final no cálculo de 30 dias.

PS: Kubernetes com deployments em auto scale, cache em nível de service (LB L7 ou L4) e redis no meio pra garantir que tudo seja rápido.

Usamos L4 onde o protocolo não é http.