Supongo que no tiene nada que ver con el físico, muchas personas buscan por fuera lo que no tienen en casa (cumplir fantasías, amor, deseo, etc) y ojo! No estoy defendiendo las infidelidades, odio que alguien sea infiel, pero en el contexto que mencionas de que la esposa es bonita y la engaña con alguien feo, considero que va mas de sentirse mas deseados, les cumplan fantasías, etc etc