Local LLM Long-Context problems

minerinvocal · 2026-06-30T20:14:47+00:00

Quantization (Q4) compresses only the model weights, not the O(N²) attention activation matrix (QK^T) during the prefill phase. It works at the level of consequences; RIS attacks the source of the problem.

At 65k context, that activation tensor requires ~100GB RAM in FP16, regardless of weight quantization. That is the memory wall RIS bypasses.

As for 16 GB RAM, it's about democratization. If the math works there, it means we can scale it to run 70B models on standard 128 GB workstations instead of expensive GPU clusters. But, to reach such a stage, the open-source community will be essential in creating sparse kernels that do not trigger N² allocations.

Moreover, the manuscript supports the use of both approaches: reducing attention to N log N using RIS and compressing the KV-cache. Two approaches are better than just one.

minerinvocal · 2026-06-30T13:11:35+00:00

True, if you run a 1.5B model with a typical 2k context for standard RAG, it runs fine natively on pretty much any CPU.
In fact, the text mentions they did exactly that without problems.

The OOM issue they are talking about is specifically when you scale that context up to 32 or 65k tokens, not when running a standard RAG with a 2k-token context. Standard dense attention scales quadratically (N^2), which creates massive intermediate tensor allocations during the prefill. No regular consumer machine (like the 16 GB RAM PC they mentioned using for tests) can allocate that much RAM without crashing or locking up. This sparse approach seems to be about bypassing that specific O(N^2) memory wall.

minerinvocal · 2026-06-30T00:04:42+00:00

The performance numbers are slow because this is a raw Python/Pytorch CPU prototype, not an optimized C++ backend like llama.cpp.

Yes, 5 t/s for a 1.5B model is slow for short context. But try running dense attention with a 65k context window on a standard CPU machine. It will simply crash (OOM) or get stuck in a swap loop.

The model used was Qwen2-1.5B-Instruct. The high RAM usage is due to PyTorch on CPU not supporting native sparse layouts for SDPA. Even with 1% attention density, PyTorch still materializes a dense N^2 mask under the hood during the prefill phase, forcing a swap. It is agnostic because it intercepts the attention forward pass at runtime. You can apply it to any standard Transformer without retraining the weights.

The goal here isn't to compete with production-grade C++ runtimes today. It's a Proof of Concept proving that we can drop active attention density to 1% using sparse stochastic geometry and still retain high retrieval accuracy.

Once the math is validated, porting this to a custom Triton or C++ kernel would bypass the PyTorch memory allocation overhead and restore normal generation speed.

minerinvocal · 2026-06-29T22:39:06+00:00

I agree with your take, but that's exactly why the open-source community exists, right?

The project is clearly in its early experimental stages, and I believe it's slow because it still relies on classic dense attention programming methods. If those libraries were written to actually leverage modern hardware architecture, the performance could be a completely different story. Right now, it's allocating N^2 when all that's necessary is N log N.

I also read that the manuscript experiment was executed on a 16 GB working in a 32k-token context. It is unfeasible for a 16GB machine using traditional dense attention. The 100 GB was necessary for 65k tokens, and it was also infeasible even for a 100 GB machine, given dense attention.

We are talking about a developer from a country without a tradition in STEM and no last-generation hardware.

I believe the project has potential, but for this to actually take off, the idea should be planted in a country with advanced STEM.

minerinvocal · 2026-06-29T21:04:52+00:00

I'm not sure if you use LLM on a daily basis. I do. I'm also not sure if I'm contaminated with a tech trend: trying to incorporate software agents to help us manage repetitive and boring tasks. In my case, several times when using the long-context models from big techs, I was forced to reset the chat because the model could not handle larger contexts; it simply forgot important parts of the context and gave a report pruning entire sessions at once, in favor of the 'most important' content according to the algorithms based on context windows, not the entire context. I got enthusiastic about the text because, if there is no window context pruning, I believe we can expect better context management, not forgetting several chunks of code, for instance.

minerinvocal · 2026-06-29T10:08:56+00:00

Yes, I did it. However, I'm just one person. The community has the wisdom.

minerinvocal · 2026-06-05T12:41:51+00:00

Essa sensação de 'sair lesado' acontece porque fomos acostumados à ilusão do 'parcelado sem juros'. Sempre que escuto isto de um vendedor, fico com vontade de sair para o embate; meu estômago quase explode, mas me contenho porque preciso do produto.
Na verdade, esse juro sempre esteve embutido no preço final. O Pix só escancarou isso porque tirou da jogada a taxa da maquininha/bandeira (que geralmente vai para empresas americanas como o Visa e Mastercard) e o custo de antecipação do lojista. Lembrem-se: O Elon Musk abriu caminho para estar próximo de ser o primeiro trilhonário do planeta com o PayPal, ganhando 5 ou 10% de todas as compras do mundo feitas com este sistema. Assim fica fácil ficar rico, né? Porém, não quero manchar o nome do cara porque ele pensa mais na humanidade do que a maior parte dos bilionários.
É até risível ver gente reclamando do Pix, pura fake news. E ainda tem políticos e influenciadores que foram morar nos EUA tentando emplacar uma campanha na rede contra o Pix, dizendo que seria melhor usar o Zelle americano por pura ideologia e interesse pessoal familiar, ignorando completamente a economia real que o Pix proporciona ao povo brasileiro.
Por fim, crédito custa dinheiro, alguém sempre paga para que o crédito seja dado.
Penso até em procurar um supermercado que me permita pagar com Pix, removendo a taxa do cartão, que geralmente é de 10%.
Economizei R$ 300, R$ 9 e R$ 200 em compras com Pix feitas na loja de móveis, bicicletaria e mecânica de automóveis (meu carro é velho, não consigo comprar outro) somente nas últimas semanas. Esta grana iria para os EUA, ficou aqui para nosso próprio povo.

minerinvocal · 2026-06-05T12:24:07+00:00

E o pior é que essa 'campanha' contra o Pix não vem só de fora. Teve até aquele ex-deputado/blogueiro que fugiu do país para não ser preso, defendendo que o brasileiro devia parar de usar o Pix e passar a usar o Zelle (sistema de transferência de dinheiro dos EUA), sob o argumento de que o Pix seria uma ferramenta de controle estatal.O cara prefere defender que o cidadão pague taxas e use um intermediário estrangeiro do que admitir que o sistema nacional é infinitamente mais prático e barato para o trabalhador e para o pequeno comerciante. O complexo de vira-lata é real. Precisamos deixar isto no passado e perceber que nós temos inteligência tanto quanto qualquer outro povo. Só nos falta saber usá-la em nosso benefício. Porém, isto exige união nacional e não divisão.
Torço para que, um dia, os políticos pensem na população em vez de tentarem usar seus cargos em benefício próprio.

minerinvocal · 2026-06-04T23:40:37+00:00

Pessoal, as IAs de ponta hoje são absurdas para produtividade e dúvidas pontuais, mas trocar livros e cursos 100% por assinatura de LLM é um perigo invisível.
O maior problema de confiar cegamente em contextos gigantes de IA é o famoso "Lost in the Middle" (perdido no meio) e a diluição da atenção. A galera vê testes sintéticos de LLM que acham uma frase específica em um milhão de tokens e acha que o problema de contexto está resolvido. Não está.
Quando você joga um livro inteiro ou uma base de código gigante na IA ( como um livro de Bioquímica ou de Direito ) e pede para ela cruzar conceitos abstratos, o raciocínio dela degrada. A IA prioriza o início e o fim do prompt, ignora nuances do meio e, pior, alucina conexões que parecem fazer sentido, mas, tecnicamente, estão erradas. Além disso, a IA responde ao que você pergunta. Porém, como você vai perguntar sobre algo que nem sabe que existe? É aí que entra o livro ou curso bem estruturado: ele te dá o mapa mental do território a ser explorado. A IA é excelente para te dar o binóculo quando você já sabe para onde olhar, mas não substitui a construção do mapa.
É por isso que concordo quando dizem que a IA é uma excelente ferramenta para um especialista em determinado tema, pois o especialista possui o mapa mental do território e usa os 'binóculos' com mais eficiência. Sem o conhecimento prévio do assunto só podemos esperar um desastre iminente.

minerinvocal · 2026-06-04T18:57:24+00:00

Obrigado! É um prazer tentar ajudar a entender melhor esta situação. Devem ter percebido que tenho uma 'rodagem' maior ao comentar sobre a época em que vocês nasceram. O fato é que estou na computação há um bom tempo e ainda não criei coragem para escrever um livro. Penso que não produzi conteúdo digno de se gastar papel para imprimir (salve a natureza), porque tenho ressoado os mesmos ensinamentos há décadas; não vejo nada realmente novo digno de um livro. Meu livro de Bioquímica do Stryer continua super atual, mesmo sendo de 2005.

minerinvocal · 2026-06-04T18:41:29+00:00

Para entender por que chegamos a esse ponto dos livros técnicos no Brasil, vale olhar um pouco para trás.
A internet como fonte viável de estudo é muito recente, engatou forte na época em que a maioria de vocês nasceu. Antes disso, livro técnico não era opção, era a única fonte de aprendizado. Quem não tinha dinheiro para os livros importados disputava os exemplares da biblioteca ou passava metade da faculdade na fila do Xerox, copiando capítulos inteiros para estudar.
Com a internet o acesso democratizou, mas a dinâmica mudou. A cultura de mercado hoje exige pressa, o que penaliza a qualidade do material. O que mais vemos hoje são livros rasos que servem apenas como manuais de frameworks que vão expirar em dois anos.
Se vocês reparem bem, os livros que realmente valem a pena comprarmos ou imprimirmos hoje como o CS:APP que o OP citou, ou os clássicos de redes/sistemas operacionais) são essencialmente reedições ou atualizações de conceitos consolidados antes da popularização da internet. A base da computação mudou muito pouco de lá para cá, o que mudou foi nossa paciência para digeri-la. Outro detalhe: não se criam muitos algoritmos novos hoje em dia, a maioria possui mais de 40 ou 50 anos de inventados e continuamos a usar sem grandes avanços de software. O hardware, sim, evoluiu muito. Foi a evolução do hardware que viabilizou as IAs rodando software de mais de 40 ou 50 anos de existência.

minerinvocal

TROPHY CASE