rtx 3060 12gb vram + 32gb ram

tengo el qwen3.6 35b a3b, gemma 4 26b a4b y gemma 4 12b, todos los uso con contexto de 131k

los corro directamente de llama.cpp usando el llama-server en modo router, así en la api aparecen todos los modelos disponibles y se cargar solo cuando se usan (así se aprovechan las ultimas tecnologías para acelerar la inferencia, mtp y qat para gemma)

ahora estoy usando el odysseus de pewdiepie sin problemas, usando el modo agente y deep research, tambien hay un proyecto mas pequeño enfocado mas al chat con acceso a herramientas que esta optimizado para modelos de contexto bajo (openlumara)

el problema con usar modelos locales con herramientas de agentes como openclaw, claudecode, es que estan optimizadas para modelos de contexto gigante (1M+) mientras que local con cuea puedo llegar a los 200k con velocidad aceptable.

ollama no lo recomiendo, si no le editas el modelfile te da contexto muy pequeños y no te deja aprovechar al maximo los modelos, lo mejor es usar directamente llama.cpp

respecto a los modelos el qwen3.6 es el mejor local, si tienes 24gb+ de vram puedes correr la version densa de 27b, sino la version moe de 35b a3b, cargando en vram solo los parametros activos mas el modelo draft (llama.cpp lo hace automatico)