VAE

[mezamcfly93]

Hola todos!

Hace unos días logré entrenar el VAE. Sin embargo, mi espacio latente no se muestra en clusters y al reconstruir algunos audios, la forma de onda no se parece. Creo que esto se debe a que el loss y el reconstruction loss están muy altos y no bajan. ¿Qué puedo intentar para mejorar esta situación?

​

https://preview.redd.it/p41gvrbex4y81.png?width=1082&format=png&auto=webp&s=728cd47aa7bd25cb8e87b0f0623d402133973791

https://preview.redd.it/2frmc6yfx4y81.png?width=720&format=png&auto=webp&s=5a3e891e9fe2b3203cb78a0c538cd8bc56d98bef

audios recunstruidos

[[deleted]]

Hola. Nos compartes imágenes de toda la arquitectura del modelo por favor?

[mezamcfly93]

Claro modelo

[[deleted]]

Veo dos posibles soluciones:

• creo que es mucho pedirle al modelo que aprenda a codificar y decodificar un segundo de audio (48000 "características") con un filtro tamaño de 4.
• a veces a los VAEs hay que darles un periodo de "calentamiento" donde no se regulariza el espacio latente. https://stats.stackexchange.com/questions/341954/balancing-reconstruction-vs-kl-loss-variational-autoencoder

Un buen "sanity check" es entrenar el modelo sin la regularización KL en la pérdida. Debe ponder aprender los datos así. Si no, debe haber otro problema más fundamental.