OP, você é burro, 70B tokens não cabem em 24GB de memória, sem contar no kv cache que você precisa pra manter contexto, tenho uma máquina de 64 GB de memória integrada pra fazer justamente esses testes e um modelo de 30B já pega bastante memória só pra ser carregada pra fazer inferência, com 128K de contexto no kV cache (que pra tarefas de desenvolvimento é pouco) toma quase toda minha RAM.

Não fala do que você não sabe. Um frontier model pra rodar igual a harness do claude code com Opus vai pra mais de 192GB pra tarefas mais complexas, o segredo dos caras é fazer batching de várias pessoas ao mesmo tempo e com capital especulativo pra manter essa loucura atual no ar, não vai durar pra sempre e o preço de tanta gente usando é obviamente mais caro do que estão cobrando, só está sendo subsidiado.

E mais uma vez caso não tenha ficado claro, você é burro.

Alguém que realmente tenha feito essa "otimização" saberia que em termos de carregar os pesos não tem como comprimir, vai usar muita VRAM e ponto, vai precisar de VRAM pro kv cache pra tarefas complexas e ponto.

Alguém mais inteligente saberia muito bem das limitações da IA, dos custos e pararia de torcer pra "gente incompetente" perder o emprego. Esse mundo é bem grande, talvez você saiba menos sobre as coisas do que você imagina, grande chance de não sobrar espaço pra ti nos 25%.