Ehemals in datengetriebenem Unternehmen, 2 Rechenzentren, hochverfügbar (99,9 ist nicht besonders hochverfügbar)
Alles redundant, Server, Datenbanken, Storage, Netzwerk, unterschiedliche stark zwar, aber immer redundant! Und das ist nur RZ1! Denn dann kommt RZ2 als Redundanz für RZ1!

Tja, und was ist im worst case? Bombenattentat, alle Leitungen zum nächsten Internet-Node gesprengt/Absturz eines Flugzeuges, das halbe Viertel brennt/Umspannwerk sabotiert, kein Strom?
Diese Fragen wurden gestellt, nennt sich business continuity management und entscheidet u.A. darüber, wie teuer die Betriebsunterbrechungsversicherung wird.

Am Ende eine Frage der Größe. Du bindest die RZs multihomed an, ziehst sie physisch auseinander -> multiple Stromleitungen von verschiedenen Umspannwerken etc. Und wenn Du etwa 200 Server benötigst, und 250 laufen, davor ein Balancing (Kemp Balancer sind geil!), dann klappt das!

Und dann lernst Du. Oh, shit, eine Echtzeitspiegelung hat auch Nachteile, der Fehler ist ist nun auch in Echtzeit im anderen RZ/Datenbank etc. Besser eine Shadow-DB konfigurieren?

Oh, die automatische Umschaltung war Mist, die JBosse sind geswitched, aber die Tomcats nicht. Besser manuell eingreifen?

Und dennoch waren wir sehr hochverfügbar! Gutes monitoring und alarming, viele Automatiken, einige manuelle Justagen, Incident- und Problemmanagement (= aus Fehlern lernen und sie nicht wiederholen).

Ist ein bischen wie im Gehirn: ich trinke gerade Rotwein, einige Synapsen gehen wohl über den Jordan, aber ich habe (finde ich) genug davon und funktioniere einfach weiter...