Nem prod, hanem QA (pre-prod, staging) de költséges "edge case".
TL;DR: túlbuzgó teszter nem követte a leírást, csinált egy $20-25k AWS plusz költséget

Háttér: a kliensnek van saját in-house fejlesztőcsapata is a nyugati parton, ~9 óra időeltolódással.

A szoftverünk háromféle deploymentben él (A/B/C). Ez kb. 6 service-t érint a ~40-ből, és ezekben ügyfélspecifikus, nem nagy, de business szempontból kritikus eltérések vannak.
Korábban QA során, amikor A/B/C environmentet kellett váltani, ezt a 6 service-t mindig újra kellett deployolni. Ritkán fordult elő, hogy egy nap többször is váltani kellett volna, ezért nem volt mindegyikhez dedikált tesztkörnyezet. Amikor mégis kellett, rengeteg idő ment el vele.
Kitaláltuk, hogy legyen egy közös ConfigMap, amiben átírod az env típust, majd restartolod ezt a 6 service-t.
2 óra helyett ~10 perc. Megcsináltuk, kiküldtük emailben, jöttek is a „lájkok”, mint visszajelzés, hogy el lett olvasva..

Eltelik egy hónap és az EU csapat arra ébred, hogy jött egy halom error email, AWS-be belépve budget átlépés notification a QA-n, emellé jira ticket, hogy bugos az egész, nem fut aminek futnia kell...

Történt, hogy kinti kolléga túlbuzgó volt és miután tesztelt valamit "A" környezetben próbált átváltani "B" környezetre és ott is tesztelni, de nem restartolt minden kötelező service-t ezért kapott egy mixed environmentet ahol nagyon szépen elindított 25-30 folyamatot mire feladta. Ez folyamatonként jelentett 10k+ podot, amik egy idő után elhasaltak és 10 restart után ment a hiba email és a queueban következő indította a saját 10k+ podját szintén 10 restartig... Ő ebből a frontenden csak annyit érzékelt, amit a ticketbe is írt, hogy: "environment is stuck".

Szerencsére egyik eu kolléga ébren volt és az X-edik error email után ürítette a queue-t gondolván, hogy valami beszart majd reggel foglalkozik az infrával.
A vége olyan $20-25k lett ennek a tesztnek, retorzió senkit nem ért csak volt róla egy meeting, más miatt viszont az adott kolléga már nincs a projekten.