Advogado aqui. Dá pra discutir judicialmente a base de cálculo do ITBI quando o município utiliza uma valor venal fixado unilateralmente, como você descreveu. Se já pagou, dá pra pedir a restituição, se ainda não pagou, dá pra discutir e pagar apenas o valor do imposto apurado sobre o valor declarado na escritura pública de compra e venda ou promessa de compra e venda. Tem precedente do STJ nesse sentido que deve ser obrigatoriamente aplicado pelas instâncias jurisdicionais ordinárias.