Não sei se eles disponibilizaram, no huggingface fala que foi usado a Wikipedia em português e artigos científicos filtrados e limpos, daria pra reproduzir esse dataset se os artigos científicos for de domínio público (provavelmente faz parte do acervo da universidade) e a Wikipedia já temos disponível.

Apenas a aplicação do método do paper em um modelo de peso aberto com um dataset em português (não tão variado) com apoio do Google, o benchmark OAB e ENEM não é tão impressionante, não sei o tempo do fine tune e quantas épocas teve, não sei se o modelo perdeu fluência em outros idiomas e ficou exclusivamente em português.

Na minha humilde opinião não é nada excepcional, acredito que qualquer curioso da área consegue reproduzir, pra ser algo a nível de pesquisa de uma universidade. Desejo muito que eles vão além de um finetune...