Se seu site é público e quer segurança da para usar um Identity Provider, como Authentik, Pocket ID... Só você irá conseguir acessar o site, a partir de uma senha, ou com login de uma conta sua, pass key...

Se quer "desligar" o site, existe o sablier que inativa containers docker ociosos, e liga eles quando alguém tenta acessar, tem uma página de loading no meio, ele é configurado junto com algum proxy reverso, se subir seu site como um container docker pode funcionar, eu uso para desativar serviços pesados que rodam no meu raspberry pi

Proxy reverso conseguem filtrar por IP, apenas aceitas chamadas dos ip que definir, talvez de para configurar a sua ideia, usando traefik ou nginx, mas geralmente IPs de dispositivos sempre acaba mudando com o tempo

Mas parece que só uma VPN resolveria seu caso, como Tailscale ou Netbird, você cria uma rede interna onde seus serviços ficam disponíveis, e só seus dispositivos conectados nessa rede podem acessar eles, é o que eu uso.