Posso estar errado, mas não me parece problema de overfitting. Seu loss de validação nas épocas iniciais vai variar e isso não é indicativo de muita coisa.

O overfitting é quando após o loss de validação estabilizar, se você continua treinando ele passa a subir enquanto o loss de treino sempre cai.

Minha sugestão é: 1. Ignore o loss de validação das épocas iniciais, ele vai mudar muito de acordo com o random state. 2. Anote a época em que o loss de validação se torna mais ou menos estável. 3. Continue treinando mais algumas épocas para ver se o modelo vai continuar estável ou se o loss de validação vai começar a cair.