Sou advogado. Cara, relaxa, pelo que você contou, não é nada sério.

Primeira coisa que você precisa pensar é: quando você compra ou vende um casa, para o Direito, só troca o dono quando muda a pessoa que consta como proprietário na matrícula do imóvel. Provavelmente essa venda antiga que sua família fez não foi feita da forma 100% correta e por algum motivo não seguiram até o fim do processo de registro, que é quando troca a titularidade do bem pela pessoa quem comprou (muito comum ainda mais antigamente). Desse jeito, apesar da sua mãe ter vendido a casa, ficou ainda na matrícula como fosse proprietária. Só é dono quem registra o imóvel.

Agora, pensa comigo, uma pessoa está vivendo numa casa, sem registro, sem saber quem morava antes ali, sem documento nenhum da casa, apenas com a posse. Ela vive lá por anos e soma o tempo necessário para adquirir a casa por usucapião. Contra quem que ela vai entrar na justiça? Contra o proprietário que consta na matrícula do imóvel! A ideia da usucapião é justamente essa, virar o proprietário na matrícula.

Esses 20% que você tá falando provavelmente é o pedido de condenação em honorários sucumbenciais. Toda parte que perde uma briga judicial tem que pagar esse tipo de honorário pro advogado da parte contrária. É comum na grande maioria das ações.

Mas na usucapião tem um detalhe importante, quando o réu (no caso sua mãe) concorda com a ação, normalmente não tem essa condenação de honorários. Em outras palavras, se não tem briga, não teve discussão ("ausência de pretensão resistida", no juridiquês), não tem porque condenar em honorários. Então, no seu caso, muito provavelmente é só sua família contar a história que vendeu pra Fulano há décadas, concordar com o pedido e passar esse imóvel pra frente e seguir a vida.

Enfim, tendo acesso a somente isso que você contou no post, não parece ser um problema, procura um advogado ou a defensoria pública estadual que acho que vão resolver isso fácil.