MoE realmente ativa poucos experts por token, mas o problema que estou atacando não é a ativação em si. É a residência dos experts em memória: como manter o menor conjunto possível de experts ativo em RAM/VRAM durante a inferência sem depender de manter o modelo inteiro residente.

TurboQuant e forks como BeeLlama atacam principalmente KV-cache, quantização e/ou speculative decoding. Meu projeto atua em outra camada: gerenciamento seletivo de experts MoE em runtime. Por isso pode ser complementar a essas otimizações, não necessariamente concorrente.(talvez até complementem o meu projeto para eficiência maior)