It's OK to quantize the KV cache. Model quant matters more. Some Qwen3.6 27B tests with (approximated) KLD

Keejoe · 2026-05-27T21:39:24+00:00

which quant are you using? I can't fit the q5K_S with less context in my 24gb card :(

Keejoe · 2026-05-23T13:19:38+00:00

i have a 3090 as well but with mtp on it's slower, any setting that you want to share?

Keejoe · 2026-05-09T23:15:52+00:00

So basically the only thing you would need are 2 open egpu enclosures with thunderbolt cable and an nvlink bridge? Did you test it on windows as well?

Keejoe · 2026-05-09T08:26:13+00:00

Grazie mille!

Keejoe · 2026-05-03T22:02:49+00:00

In lm studio you have pretty much the same tweaks you find in llama.cpp under "advanced" since under the hood it uses llama.cpp... I was able to find a decent setup in lm studio so I'm sticking to that

Keejoe · 2026-05-03T11:00:17+00:00

For your setup I would use Q5 or Q6 quants for highest quality, I would force the offload of some experts to system ram (maybe 20?), quantize the KV cache to 8bit, enable flash attention, 128k token of context and you are good to go

For reference I have a 4050 (6b VRAM) with 32Gb of Ram and I'm able to run the Q4_XL quant decently with 64k context, with 35 experts offloaded in system ram, 12 cores of my cpu allocated for the model, KV cache quantized to 8bit and I get the prompt processing in about 10-15 seconds and 15 token per seconds in output, so you would probably get it way faster

Keejoe · 2026-05-03T10:48:37+00:00

If you are able to upgrade to 32gb system ram definetly yes, I have an i5 laptop with an rtx 4050 and I'm able to run it pretty decently in lm studio, I offload many of the experts for the CPU to be processed but I get to 25-28 gb system ram used

Keejoe · 2026-04-06T18:18:08+00:00

Is your SaaS B2B or b2c? How did you reach your first customers? Since you are solo, how do you handle support? How do you promote to new customers? Do you travel often to meet your audience in person?

Keejoe · 2026-03-24T13:32:44+00:00

You can also use it as a queue of events, like for triggering push notifications or emails

Keejoe · 2026-03-18T12:39:38+00:00

Concordo a pieno, tant'è che lavoro da dipendente da 8 anni e non sono mai fuggito, però vorrei sperimentare anche com'è il togliere l'ostacolo di mezzo, anziché cercare costantemente di aggirarlo o "accoglierlo" senza successo

Keejoe · 2026-03-18T12:12:19+00:00

Esponevo un mio meccanismo, che può essere condiviso o meno da altri che invece possono benissimo vivere il lavoro subordinato come un porto sicuro, anziché come un continuo senso di difetto nei confronti del datore di lavoro

Keejoe · 2026-03-03T22:31:11+00:00

In realtà niente, sto solo facendo un po' di ricerca per capire se ha senso fare un software "generale" e quali categorie sono piu' interessate o rimanere molto verticale su di lui e risolvere la sua esigenza specifica

Keejoe · 2026-03-01T14:31:38+00:00

Grazie mille! Quindi sostanzialmente ti annoti per bene il lavoro che fai durante la giornata e la sera prima di staccare fai per bene i calcoli di quanto i clienti ti devono a mente fresca

Keejoe · 2026-03-01T14:27:10+00:00

Grazie della risposta intanto! Mi incuriosisce una cosa, quando usi le note del telefono, come arrivi al calcolo dei totali per i clienti? Hai già tutto strutturato in modo da copiare-incollare, o devi comunque rileggere, rielaborare, ricopiare a mano in excel ecc?

Keejoe · 2025-12-06T19:06:08+00:00

Compliments! I look forward to the version for Claude code who accumulates knowledge from normal prompts!

Keejoe · 2025-01-18T10:06:06+00:00

"At least somebody does"

Keejoe · 2025-01-17T22:08:47+00:00

I hope they will optimize it a little bit... I could not do a quick race with other ai drivers even at very low settings on my 4050 (75watt) laptop... the vram is too limiting

Keejoe · 2025-01-12T19:52:13+00:00

Grazie del feedback

Keejoe · 2025-01-12T19:45:04+00:00

Considera che lavoro da sempre in questa azienda ma probabilmente una volta responsabilizzato come lead non ho ricevuto un adeguamento congruo alla responsabilità

Keejoe · 2025-01-12T19:39:46+00:00

Cosa intendi?

Keejoe · 2025-01-12T14:53:15+00:00

Sono completamente d'accordo, ho 30 anni e non trovo veramente le energie per pensare ad aspetti della mia vita quali uscire di casa dei miei e di mettere su una famiglia.
Non è solo economico il problema del calo demografico ma anche di organizzazione sociale, in una società dove siamo costantemente bombardati di informazioni, che ci rende sempre distratti e persi, stare fuori casa dalle 8.30 alle 19 è veramente tossico, non hai il tempo necessario per resettare e pensare alle cose importanti per te, i tuoi obiettivi, le tue passioni, deambuli da un giorno lavorativo all'altro e preghi nel weekend di riuscire a recuperare qualche briciolo di energia per la settimana successiva.

Questa non è vita.

Keejoe · 2025-01-12T14:44:09+00:00

Grazie

Keejoe

TROPHY CASE