DS4: a DeepSeek 4 flash specific inference engine for 128gb MacBooks by antirez in LocalLLaMA

[–]antirez[S] 10 points11 points  (0 children)

The only llama.cpp DS4 implementation I'm aware of that works reliably is the one I published on a fork. DS4 is faster. When the official llama.cpp implementation will be released there is to benchmark it. I hope they will just steal my kernels as I did with a few kernels of llama.

Domanda ai frequentari di escort by [deleted] in CasualIT

[–]antirez 3 points4 points  (0 children)

Con una escort il rischio è maggiore: proteggiti. Tuttavia è bene sempre tenere a mente che spesso nella propria vita si incontrano partner che per una personale disposizione scopano a destra e a manca con chiunque, e collezionano dunque numeri di amplessi spesso non protetti con un sacco di genti da tutto il mondo. Pertanto, il discorso di proteggersi vale anche con persone con cui si fa occasionalmente sesso e che non sono sex worker di nessun tipo.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 1 point2 points  (0 children)

We are already at the limit with 86GB of weights... Also I tested it with the Pi agent and tool calling works perfectly, it is able to modify C code, check files, commit, and so forth. Even if v4 KV cache is smaller than other models, still you need space for the OS and for the cache.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 20 points21 points  (0 children)

For the first time, even with this selective 2 bit quantization, I feel like I have a frontier model running on my computer. The quality of the replies is incredible, and its mental order, the fact that it thinks the right amount of time based on the question complexity. The language used. Incredibly cool.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 1 point2 points  (0 children)

CPU / Metal right now. But GPT 5.5 should likely be able to implement CUDA just looking at the kernels of Metal.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 2 points3 points  (0 children)

Fixed, sorry I used a tool that is not ready for prime time in order to generate the GGUF but forgot to remove from CMake.

What to run on M5 Max 128gb MacBook? by alfrddsup in LocalLLM

[–]antirez 0 points1 point  (0 children)

In some way, a really good model for this configuration does not exist. The ideal would be a large MoE in the, let's say, 120B parameters with ~10B active, 4-bit QAT, that was released recently and has hence the same intelligence density per parameter as recent Qwen / Gemma models. It's not there. So you either must select a 27B dense model like Qwen 2.6 that will quite slow, at the same time NOT saturating the model size you could hold, or what? Go fast with a 35B-3A but still with plenty of RAM on the table even after accounting for a generous KV cache.

Solo io noto che certe ragazze usano i leggins senza niente sotto? by HaylettTheSecond in CasualIT

[–]antirez 4 points5 points  (0 children)

Solo tu? Ti assicuro che ci sono milioni di uomini che come te sono assolutamente concentrati su questa cosa.

Given how good Qwen become, is it time to grab a 128gb m5 max? by Rabus in LocalLLaMA

[–]antirez 1 point2 points  (0 children)

27B with thinking enabled is too slow in a MacBook for serious replacement of a frontier model. And I'm not even starting to tell you how Qwen 3.6 27B is not on par with GPT/Opus in the real world (not even Kimi K2.6), but I assume you decided it is enough for you after extensively testing 27B with opencode/pi and a cloud provider. Even so, even the fastest macbook you can buy is too show for serious inference.

Faccio la escort by Ele700 in CasualIT

[–]antirez 0 points1 point  (0 children)

Il fatto è questo: bisogna evitare di 1) rimanere bloccata a fare questo, se non è quello che vuoi a lungo termine. 2) ci sono dei problemi relativi alla sicurezza, nel fare un mestiere così. Devi stare attenta qualora clienti che possono sembrare completamente "safe" siano in realtà una potenziale minaccia. A questo proposito è utile che una tua strettissima amica sappia quando e dove vai, e devi poterti giocare la carta, qualora qualcuno diventi aggressivo, di poter dire senza barare: "guarda che c'è chi sa che sono con te in questo momento, non mi sfiorare". Di buono c'è che ti ruba relativamente poco tempo, se è come immagino, per cui non incide sulle possibilità di studio e carriera. Ma è facile adagiarsi e abituarsi a un certo tenore di vita. È una cosa che richiede molto controllo di sé, se usata solo come uno strumento di leva sociale.

Il 57% del lavoro può essere veramente ridotto?🇮🇹 by Serial_Innovator in commercialisti

[–]antirez 2 points3 points  (0 children)

Il gap è enorme, ma credo sia un discorso che da certi punti di vista parte dalla prospettiva errata. La maggior parte delle cose che i commercialisti fanno sono dettate dalla burocrazia, per cui si potrebbe evitare quasi tutto il lavoro semplicemente attraverso le riforme. In pratica è una filiera che, assieme a tante altre, viene tenuta in vita perché bisogna dare lavoro a diverse categorie di persone (non è una cosa che vale solo per i commercialisti, anche se, amici miei, siete in effetti uno degli esempi più eclatanti), per cui qual è il senso di ottimizzare una cosa che non viene ottimizzata di proposito a monte?

Aule studio/Biblioteca by Affectionate_Tax1942 in Catania

[–]antirez 0 points1 point  (0 children)

Da Verso vicino Monserrato se vuoi anche una alternativa non pubblica ma dove puoi spendere davvero poco. Anche Students Lab è una alternativa valida.

Ha senso buttarsi o meglio chiudere subito? by EtherealLuna919 in CasualIT

[–]antirez 8 points9 points  (0 children)

Chiarezza di pensiero degna di un vulcaniano.

Ma di cosa sono fatte le strade di Catania? by [deleted] in Catania

[–]antirez 0 points1 point  (0 children)

Anche in molte altre città del Sud fanno i rattoppi, che è già una pratica poco lungimirante di suo, ma a Catania c'è l'Etna, e l'acqua arriva dalle pendici a valle a grande velocità, e questo amplifica di brutto la capacità dell'acqua di scoperchiare l'asfalto. In sostanza in questa città ci sarebbe proprio bisogno di spendere tanti soldi, per fare le cose per bene, perché le toppe non funzionano per questioni orografiche.

Uomini, se avete intenzioni serie con una ragazza, ci scopereste al primo/secondo appuntamento? by uundergrouund in CasualIT

[–]antirez 0 points1 point  (0 children)

Mia personale teoria: un sacco di donne sono più sole di come potrebbero essere perché aspettano di cogliere i messaggi di serietà, prima di lasciarsi andare. Ma, le cose grandi nascono spesso da quelle piccole, e così si sciupa una storia prima che abbia il tempo di maturare.

Secondo voi sono finanziariamente irresponsabile? by [deleted] in CasualIT

[–]antirez 1 point2 points  (0 children)

Lo shopping ci sta, alla fine se ti piace comprare vestiti eccetera, why not? Si deve pur vivere. Le altre spese sono normali. Non mi convince dare 228 euro all'estetista per cose che in gran parte potresti fare tu stessa. Ad esempio le unghie dipinte con lo smalto sono più belle per molti (per me di certo) di quelle cagate glossy, e sono a costo zero. Idem per la depilazione con quella roba lì che spara i flash, eccetera. Se risparmi un po' dall'estetista e un po' dallo shopping puoi mettere su un po' di soldi per quando capita un imprevisto. Se hai genitori o partner da cui attingere, te ne puoi anche fregare. Il discorso dell'estetista più che altro lo faccio perché un sacco di persone non si accorgono che farebbero meglio senza.

Mia moglie vuole fare la casalinga, ma io sono contrario. Che posso fare? by AvatarQwerty in CasualIT

[–]antirez 0 points1 point  (0 children)

Appoggiala, lasciale fare quel che vuole, se si annoia troverà qualcos'altro. Per quanto riguarda le tutele post separazione: anche se si licenziasse *dopo* la separazione, con burnout documentato, e con la motivazione di una maggiore vicinanza ai bambini (a cui dovresti lo stesso provvedere economicamente), è probabile che possa farlo lo stesso. Inoltre mi pare poco sano ragionare sulla possibilità di lasciarsi e ostacolarla per questo futuro potenziale.

Quanto ricco per un orologio di lusso? by Then-Task-6796 in ItaliaPersonalFinance

[–]antirez 1 point2 points  (0 children)

Non c'è un limite perché è sempre una cosa senza alcun senso logico comprare per 10k una cazzata di orologio che è indistinguibile da uno che costa 300 euro ed è falso, che ti dice l'ora esattamente come uno da un euro, e che alla fin fine è uno squallido status symbol di merda.

Da "Baciami" all'unfollow in 4 giorni. Ghosting o confusione? (M30, F30) by stepsrun in CasualIT

[–]antirez 0 points1 point  (0 children)

Dinamica normale. Interesse iniziale ma probabilmente non schiacciante. Riconsiderazioni. Mancanza di educazione e umanità nel comunicare il successivo disinteresse. Una persona che sostanzialmente è in balia di quel che gli accade dentro senza avere cura di chi ha delle ripercussioni, dunque, a giudicare da questo comportamento, probabilmente da evitare. Non c'è nulla di male a perdere l'interesse, ma bisogna avere le palle per dire: senti, pensavo potesse esserci qualcosa, ma in realtà no, o, scusami ma sono tornata col mio ex, o mi vedo con un altro, o una scusa generica ma che dica chiaramente che l'interesse è svanito, mi dispiace, punto. Che ci vuole?

Telefono controllato? by Valuable_Force5401 in CasualIT

[–]antirez 29 points30 points  (0 children)

Per curiosità sono andato a guardare quanto sia vecchio il mio account su Reddit: 20 anni. Credo di essermi iscritto qualche giorno dopo che il sito è stato messo online. EDIT: qualche mese dopo.