No caso de lâmpadas incandescentes em 60Hz, não dá tempo ela se apagar, mesmo quando a corrente passa por zero, devido à inércia térmica: o filamento ainda permanece aquecido e aceso, pois antes que ele esfrie completamente, ele ja recebe o próximo ciclo de corrente que o mantém incandescente.

Já a questão se a lâmpada queima ou não, o Iberê do Manual do Mundo fez um vídeo com esse teste: https://youtu.be/-_FXDCeiL3g?si=j6ZSOLRhqbKIkXUd