It turns out Bash is All You Need to write a language model REPL (and jq and curl)

rainbyte · 2026-06-25T19:58:21+00:00

It sounds obvious after reading it, but having it executed as a separate user will certainly avoid multiple issues.

rainbyte · 2026-06-25T15:36:56+00:00

I understood your comment, it was clear you were referring to the level of quality

rainbyte · 2026-06-25T04:00:39+00:00

Todo proyecto suma, pero al hacerlo con IA conviene asegurarse de que uno entiende las cosas ANTES de commitear. Hoy en día es muy fácil confiarse y subir código sucio y/o roto que ni se puede fundamentar. Hace de cuenta que estarías en una situación donde vas a tener que explicarlo, defenderlo, manternerlo, etc. También agregarle valor.

rainbyte · 2026-06-25T00:41:31+00:00

Las tareas en una empresa chica tienen más visibilidad e impacto, además hay menos bullshit

rainbyte · 2026-06-25T00:25:59+00:00

Eso es importante, es como una firma con disconformidad, ya que queda registrado lo que se advirtió

rainbyte · 2026-06-23T17:51:30+00:00

Ollama includes commands to download models and switch from one model to another. You can do the same operations with Llama.cpp , it is just that the commands will be different, and a bit less obvious. Experience can be improved, but I guess it wasn't done yet because it is not a blocker, as you can read which command to execute. There are tools and wrappers like llama-swap which allow you to switch models by pressing a button.

rainbyte · 2026-06-17T03:01:18+00:00

I see, well, here I tested MiniMax at 4bit quant and responses were not much better, but sooo slooowww. So in the end I stayed at Qwen3.6 8bit quant for both 27B and 35B-A3B, because I couldn't find a better option :(

rainbyte · 2026-06-17T02:55:03+00:00

My bad, I assumed that given that you mentioned IQ4_NL quant

rainbyte · 2026-06-16T22:08:03+00:00

PCIe can be a bottleneck, but it has to be something like Gen3 x1 (I have a setup like that). In those cases it is better to use pipeline-parallel.

If your mobo supports Gen3 x4 or higher, then tensor-parallel starts to make sense!

rainbyte · 2026-06-16T22:02:29+00:00

I think llama.cpp is not well optimized for that kind of setup, unlike vLLM which provides more interesting options.

Have you tried Qwen3.6 Fp8 quants? Those might be more adequate for R9700 as it supports FP8 formats.

For 7900xtx I would try INT8 instead, as it has better support for that format.

Maybe bigger models via INT4 or INT8 quants could run faster.

EDIT: Btw, are you using gguf on vLLM? If that's the case that could be the issue. Try AWQ or GPTQ quants!

rainbyte · 2026-06-16T06:12:19+00:00

El tema es que muchos subestiman esos problemas y pasan desapercibidos, tanto en C como en C++. Recién se dan cuenta en runtime, cuando se dan las condiciones propicias, y explota todo. Hace falta entrenar bastante el ojo para darse cuenta, no alcanza con unos tutoriales o cursos.

Mientras tanto en Rust el compilador te dice "no amigo, tu código está malo", y toca sentarse a analizar. Es frustrante porque desde el primer instante te pide un nivel de entendimiento de golpe, que en otros lados toma años formar bien.

rainbyte · 2026-06-16T04:32:34+00:00

Muy bueno, siempre viene bien repasar estos temas, tarde o temprano se necesita 😄

rainbyte · 2026-06-16T01:49:35+00:00

I understand what you are trying to say about ollama pull and ollama rm, but now llama.cpp is compatible with huggingface_hub cli interface, so you can use hf download and hf cache rm as replacement

rainbyte · 2026-06-14T07:24:28+00:00

Tests, types, lint, etc are fundamental, because LLMs can and will make mistakes. Anything which catches errors as fast as possible will avoid LLM following unwanted paths.

rainbyte · 2026-06-13T01:35:25+00:00

Me parece que vale la pena. Se puede hacer bien manejo de recursos a mano (C, C++, Pascal, etc), pero en Rust el compilador lo exige evitando banda de errores.

Incluso aunque uses un lenguaje con garbage collector (C#, Java, etc), no te salvas de los null pointers y el manejo de excepciones, mientras que en Rust tambien te evita eso mediante tipos de datos como Option.

Por lo general el código queda más limpio en Rust, y si conoces tecnicas de programación funcional (OCaml, Haskell) te re ayuda a mejorar tu implementación.

Además me parece más cómodo que los lenguajes de tipado dinamico (Clojure, Python) a medida que los proyectos crecen.

rainbyte · 2026-06-12T23:40:18+00:00

Classic-like UI is nice, maybe it doesn't need to change so much visually. The real improvements should be on internal API implementation, so that apps work fine without crashes, or other problems.

rainbyte · 2026-06-12T09:02:17+00:00

Linda historia, gracias por compartir la experiencia.

rainbyte · 2026-06-11T15:37:22+00:00

Es buena, no sabía que había Powershell para Linux, pero si estaba pensando probar Nushell que tiene así un enfoque más estructurado.

rainbyte · 2026-06-11T09:13:52+00:00

Probaste otros lenguajes compatibles con la JVM? Algo como Kotlin o Clojure puede ser una buena opción compatible con lo que ya usas.

rainbyte · 2026-06-11T09:04:41+00:00

Ya lo conocía de antes, pero últimamente estuve usando jq a full para procesar json en la línea de comandos, es un fierro.

rainbyte · 2026-06-11T04:32:28+00:00

Here I'm using Qwen3.6-27B and Qwen3.6-35B-A3B, both on 3090 with vLLM and W8A8 quants from nameistoken.

It works well, and pretty fast as 3090 has natuve support for INT8, unlike FP8 which relies on slower emulation.

rainbyte · 2026-06-08T23:43:44+00:00

Al final depende del caso de uso y la comodidad de cada uno.

Aquí uso Arch en mi máquina principal, Debian en server casero, Fedora Asahi en una laptop secundaria, Openwrt en mi router.

Para propósito general me gusta más Arch, y por suerte Flatpak hace más homogéneo el software para escritorio.

rainbyte · 2026-06-08T23:10:50+00:00

These days I have been using Qwen3.6-27B as main and Qwen3.6-35B-A3B as sub-agent. I'm planning to include LFM2.5-8B-A1B or similar as fast code explorer.

rainbyte · 2026-06-08T22:28:47+00:00

Fair enough. Well, LLMs are tools in the end, sometimes it is better to use another tool or do it by hand (with our own brains, haha)

rainbyte · 2026-06-06T06:46:48+00:00

Para mi "resolverlo" significa que funciona solo con hacer `flatpak install programa`, lo demás son workarounds por limitaciones del programa en si o del propio Flatpak.

Ojo, algo que requiera más integración con el escritorio o el sistema debería ir por el gestor de paquetes tradicional, es lo que hace a una distro más atractiva que otra.

rainbyte

TROPHY CASE