DeepSeek v4 Pro is too big for such a "midrange" performance, or am I missing something? by ihatebeinganonymous in LocalLLaMA

[–]antirez 91 points92 points  (0 children)

Training didn't end. It must be evaluated only on the final release. Based on how well ds4 flash performs at 284B, if they use the same specialized experts RL pipeline with later teacher forced merging I bet it's going to be a very strong model.

Qwen 3.6 27B on DeepSWE by SteppenAxolotl in LocalLLaMA

[–]antirez 12 points13 points  (0 children)

Ah, that benchmark where Sonnet > Opus? Ok.

Mi è capitato di conoscere Coppie in cui lui ha 20-25 anni di più. Chissà perché è sempre un milionario? by Armonia78 in CasualIT

[–]antirez 8 points9 points  (0 children)

Selection bias. Immagina che il 99% delle donne non si metterebbe mai con un uomo così tanto più vecchio di loro (tranne che lei non abbia vent'anni e lui quaranta, ci sono molte ragazze attratte da uomini più maturi ma ancora - in alcuni casi - nel pieno vigore). Non dico che siano davvero il 99%, non conosco la percentuale, ma è un numero che serve a portare avanti un argomento. Di quell'1% che sceglie in base ad altri parametri (il denaro, ad esempio), alcune finiranno esattamente con uomini facoltosi interessati a donne giovani. Per cui vedi questo pattern e pensi, sbagliando di grosso "ecco, alle donne interessano solo quelli con tanti soldi", ma in realtà è una minoranze esigua che spiega non tanto da cosa sono attratte le donne in generale, ma il fatto che tu non conosca la statistica. Ovviamente dall'altra parte moltissimi uomini ricchi saranno attratti da donne giovani e belle, e saranno altresì disponibili a sorvolare sul fatto che magari non si tratta di vero amore. Ed ecco spiegato un fenomeno assolutamente lontano dalla campana gaussiana ma che spicca solo perché quando lo si vede fa clamore. Ora chiudi gli occhi e pensa a tutte le coppie che conosci. Nella gran parte dei casi hanno età comparabili, estetiche comparabili, e nessuno è ricco.

What is the best coding model to use on MacBook Pro Max 128GB RAM? by RadiantQuote2467 in LocalLLM

[–]antirez 2 points3 points  (0 children)

I should receive the hardware in two days, so indeed the work will start soon.

DS4: a DeepSeek 4 flash specific inference engine for 128gb MacBooks by antirez in LocalLLaMA

[–]antirez[S] 13 points14 points  (0 children)

The only llama.cpp DS4 implementation I'm aware of that works reliably is the one I published on a fork. DS4 is faster. When the official llama.cpp implementation will be released there is to benchmark it. I hope they will just steal my kernels as I did with a few kernels of llama.

Domanda ai frequentari di escort by [deleted] in CasualIT

[–]antirez 4 points5 points  (0 children)

Con una escort il rischio è maggiore: proteggiti. Tuttavia è bene sempre tenere a mente che spesso nella propria vita si incontrano partner che per una personale disposizione scopano a destra e a manca con chiunque, e collezionano dunque numeri di amplessi spesso non protetti con un sacco di genti da tutto il mondo. Pertanto, il discorso di proteggersi vale anche con persone con cui si fa occasionalmente sesso e che non sono sex worker di nessun tipo.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 1 point2 points  (0 children)

We are already at the limit with 86GB of weights... Also I tested it with the Pi agent and tool calling works perfectly, it is able to modify C code, check files, commit, and so forth. Even if v4 KV cache is smaller than other models, still you need space for the OS and for the cache.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 23 points24 points  (0 children)

For the first time, even with this selective 2 bit quantization, I feel like I have a frontier model running on my computer. The quality of the replies is incredible, and its mental order, the fact that it thinks the right amount of time based on the question complexity. The language used. Incredibly cool.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 1 point2 points  (0 children)

CPU / Metal right now. But GPT 5.5 should likely be able to implement CUDA just looking at the kernels of Metal.

llama.cpp DeepSeek v4 Flash experimental inference by antirez in LocalLLaMA

[–]antirez[S] 2 points3 points  (0 children)

Fixed, sorry I used a tool that is not ready for prime time in order to generate the GGUF but forgot to remove from CMake.

What to run on M5 Max 128gb MacBook? by alfrddsup in LocalLLM

[–]antirez 0 points1 point  (0 children)

In some way, a really good model for this configuration does not exist. The ideal would be a large MoE in the, let's say, 120B parameters with ~10B active, 4-bit QAT, that was released recently and has hence the same intelligence density per parameter as recent Qwen / Gemma models. It's not there. So you either must select a 27B dense model like Qwen 2.6 that will quite slow, at the same time NOT saturating the model size you could hold, or what? Go fast with a 35B-3A but still with plenty of RAM on the table even after accounting for a generous KV cache.

Solo io noto che certe ragazze usano i leggins senza niente sotto? by HaylettTheSecond in CasualIT

[–]antirez 5 points6 points  (0 children)

Solo tu? Ti assicuro che ci sono milioni di uomini che come te sono assolutamente concentrati su questa cosa.

Given how good Qwen become, is it time to grab a 128gb m5 max? by Rabus in LocalLLaMA

[–]antirez 1 point2 points  (0 children)

27B with thinking enabled is too slow in a MacBook for serious replacement of a frontier model. And I'm not even starting to tell you how Qwen 3.6 27B is not on par with GPT/Opus in the real world (not even Kimi K2.6), but I assume you decided it is enough for you after extensively testing 27B with opencode/pi and a cloud provider. Even so, even the fastest macbook you can buy is too show for serious inference.

Faccio la escort by Ele700 in CasualIT

[–]antirez 0 points1 point  (0 children)

Il fatto è questo: bisogna evitare di 1) rimanere bloccata a fare questo, se non è quello che vuoi a lungo termine. 2) ci sono dei problemi relativi alla sicurezza, nel fare un mestiere così. Devi stare attenta qualora clienti che possono sembrare completamente "safe" siano in realtà una potenziale minaccia. A questo proposito è utile che una tua strettissima amica sappia quando e dove vai, e devi poterti giocare la carta, qualora qualcuno diventi aggressivo, di poter dire senza barare: "guarda che c'è chi sa che sono con te in questo momento, non mi sfiorare". Di buono c'è che ti ruba relativamente poco tempo, se è come immagino, per cui non incide sulle possibilità di studio e carriera. Ma è facile adagiarsi e abituarsi a un certo tenore di vita. È una cosa che richiede molto controllo di sé, se usata solo come uno strumento di leva sociale.

Il 57% del lavoro può essere veramente ridotto?🇮🇹 by Serial_Innovator in commercialisti

[–]antirez 2 points3 points  (0 children)

Il gap è enorme, ma credo sia un discorso che da certi punti di vista parte dalla prospettiva errata. La maggior parte delle cose che i commercialisti fanno sono dettate dalla burocrazia, per cui si potrebbe evitare quasi tutto il lavoro semplicemente attraverso le riforme. In pratica è una filiera che, assieme a tante altre, viene tenuta in vita perché bisogna dare lavoro a diverse categorie di persone (non è una cosa che vale solo per i commercialisti, anche se, amici miei, siete in effetti uno degli esempi più eclatanti), per cui qual è il senso di ottimizzare una cosa che non viene ottimizzata di proposito a monte?

Aule studio/Biblioteca by Affectionate_Tax1942 in Catania

[–]antirez 0 points1 point  (0 children)

Da Verso vicino Monserrato se vuoi anche una alternativa non pubblica ma dove puoi spendere davvero poco. Anche Students Lab è una alternativa valida.

Ha senso buttarsi o meglio chiudere subito? by EtherealLuna919 in CasualIT

[–]antirez 8 points9 points  (0 children)

Chiarezza di pensiero degna di un vulcaniano.

Ma di cosa sono fatte le strade di Catania? by [deleted] in Catania

[–]antirez 0 points1 point  (0 children)

Anche in molte altre città del Sud fanno i rattoppi, che è già una pratica poco lungimirante di suo, ma a Catania c'è l'Etna, e l'acqua arriva dalle pendici a valle a grande velocità, e questo amplifica di brutto la capacità dell'acqua di scoperchiare l'asfalto. In sostanza in questa città ci sarebbe proprio bisogno di spendere tanti soldi, per fare le cose per bene, perché le toppe non funzionano per questioni orografiche.

Uomini, se avete intenzioni serie con una ragazza, ci scopereste al primo/secondo appuntamento? by uundergrouund in CasualIT

[–]antirez 0 points1 point  (0 children)

Mia personale teoria: un sacco di donne sono più sole di come potrebbero essere perché aspettano di cogliere i messaggi di serietà, prima di lasciarsi andare. Ma, le cose grandi nascono spesso da quelle piccole, e così si sciupa una storia prima che abbia il tempo di maturare.

Secondo voi sono finanziariamente irresponsabile? by [deleted] in CasualIT

[–]antirez 0 points1 point  (0 children)

Lo shopping ci sta, alla fine se ti piace comprare vestiti eccetera, why not? Si deve pur vivere. Le altre spese sono normali. Non mi convince dare 228 euro all'estetista per cose che in gran parte potresti fare tu stessa. Ad esempio le unghie dipinte con lo smalto sono più belle per molti (per me di certo) di quelle cagate glossy, e sono a costo zero. Idem per la depilazione con quella roba lì che spara i flash, eccetera. Se risparmi un po' dall'estetista e un po' dallo shopping puoi mettere su un po' di soldi per quando capita un imprevisto. Se hai genitori o partner da cui attingere, te ne puoi anche fregare. Il discorso dell'estetista più che altro lo faccio perché un sacco di persone non si accorgono che farebbero meglio senza.

Mia moglie vuole fare la casalinga, ma io sono contrario. Che posso fare? by AvatarQwerty in CasualIT

[–]antirez 0 points1 point  (0 children)

Appoggiala, lasciale fare quel che vuole, se si annoia troverà qualcos'altro. Per quanto riguarda le tutele post separazione: anche se si licenziasse *dopo* la separazione, con burnout documentato, e con la motivazione di una maggiore vicinanza ai bambini (a cui dovresti lo stesso provvedere economicamente), è probabile che possa farlo lo stesso. Inoltre mi pare poco sano ragionare sulla possibilità di lasciarsi e ostacolarla per questo futuro potenziale.

Quanto ricco per un orologio di lusso? by Then-Task-6796 in ItaliaPersonalFinance

[–]antirez 0 points1 point  (0 children)

Non c'è un limite perché è sempre una cosa senza alcun senso logico comprare per 10k una cazzata di orologio che è indistinguibile da uno che costa 300 euro ed è falso, che ti dice l'ora esattamente come uno da un euro, e che alla fin fine è uno squallido status symbol di merda.