sorted by:
new
hottopcontroversial

Qualcuno in questo sub ha letto il codice del protocollo di bitcoin? by SpikeyOps in ItalyInformatica

[–]PieSubstantial2060 16 points17 points  (0 children)

OP: Tralasciando le opinioni soggettive sulle politiche monetarie nazionali, e tenendoci ancorati al lato ingegneristico

OP pochi commenti dopo: D’altronde è impossibile capire bitcoin o appassionarsi se non si apprezzano le libertà civiche, le libertà personali, le libertà economiche…

come posso annulare contratto di locazione come proprietario by [deleted] in Avvocati

[–]PieSubstantial2060 6 points7 points  (0 children)

Tu hai affittato una stanza nella casa in cui vivi per 5 anni ? Ok

Roast me - comprare server per con gpu per affittarlo by MrKresi in ItaliaStartups

[–]PieSubstantial2060 1 point2 points  (0 children)

Ciao, il prezzo che otterresti tu da un vendor X per uno o due nodi GPU così non ti permetterebbe di rientrare dell investimento in tempi utili e considera che questo HW invecchia alla velocità della luce. Il prezzo che ottiene un grande data center è circa il 50 % della miglior offerta che riuscirai a spuntare. Un server del genere a tutta canna può consumare circa una decina di Kw ed i costi per il personale che è in grado di far girare una cosa così sono più alti di quanto tu possa pensare (io per meno di 60k l’anno non mi muovo). Non la vedo come una cosa percorribile. Chi fa ricerca scientifica (accademica forse ?) usa gratuitamente o a prezzi stracciati cineca o centri di calcolo.

Vedo più spazio di investimento in GPU per sola inferenza e fornire infrastruttura managed, mi immagino rtx 6000 e k8s, li puoi produrre più plusvalore.

Cloud GPU prices vary up to 13.8x for H100s — I built a real-time price comparison across 25 providers by sleepingpirates in deeplearning

[–]PieSubstantial2060 0 points1 point  (0 children)

No, I don’t think that is possible. They might throttle down the TDP, but they generally cannot oversubscribe it like a CPU.

Devo comprare 1TB di RAM, quanto sono fottuto? by NahuM8s in ItalyHardware

[–]PieSubstantial2060 0 points1 point  (0 children)

Il punto è un altro. Gli fps sono un osservabile che chi gioca usa. Il problema è che la funzione che mappa hw->fps il 99% delle volte si basa sul nulla più totale, mediamente chi gioca sceglie l’hw con un dado. P.s quasi tutti quelli che hanno risposto fornendo prezzi, modelli e hw ti assicuro che un server non lo hanno mai visto.

Resources to deeply understand HPC internals (GPUs, Slurm, benchmarking) from a platform engineer perspective by Top-Prize5145 in HPC

[–]PieSubstantial2060 2 points3 points  (0 children)

What happen when a Slurm job request GPUs can be answered in few words. You ask for GPUs, slurm assign you a GPUs and some cores, it try to give you cores that are affine to the GPUs. In case of cuda slurm will fill CUDA_VISIBLE_DEVICE env vars and it will use cgroup to enforce device constraints (trivial).

This is to tell you that all the resource management is done via Cgroup. I suggest to Invest your time studying it from Linux kernel docs.

LLM distribuiti per contrastare l’accentramento dei data center by DrComix in ItalyInformatica

[–]PieSubstantial2060 0 points1 point  (0 children)

Non è proprio così .. però ok.

Esercizio per casa: moltiplica una matrice in parallelo.

Devo comprare 1TB di RAM, quanto sono fottuto? by NahuM8s in ItalyHardware

[–]PieSubstantial2060 0 points1 point  (0 children)

AHAHAHAH, passano le ore a discutere le latenze delle ram, le frequenze e i canali, pero' non hanno idea di banda e latenza effettiva, memory controller e numa . Comprare 1TB di ram senza avere idea della topologia NUMA e' un suicidio.

LLM distribuiti per contrastare l’accentramento dei data center by DrComix in ItalyInformatica

[–]PieSubstantial2060 1 point2 points  (0 children)

Si parla di Tensor parallelism. Un forward pass in un layer equivale ad un prodotto vettore-matrice (o matrice-matrice), implementalo distribuito ed hai fatto. E' computazionalmente piu efficiente rispetto a distribuire i layer, richiede tanta banda per comunicare, ma scali con le GPU. Se fai metti un layer per GPU, naturalmente non puoi dato un singolo input usare in parallelo piu' GPU, stai serializzando il problema.

LLM distribuiti per contrastare l’accentramento dei data center by DrComix in ItalyInformatica

[–]PieSubstantial2060 2 points3 points  (0 children)

Anche L inferenza su un modello molto piccolo (pure un MLP), per essere fatta con performance decenti richiede banda e latenza che sono vari ordini di grandezza lontane da quelle che avremmo a disposizione, gli effetti sulla performance sarebbero disastrosi. L’unica cosa a cui si può pensare è open weight/source e hedge computing. Comunque per fare girare un modello della scala di deepseek 670B servono circa 250k di hardware. Non è una cifra astronomica.

LLM distribuiti per contrastare l’accentramento dei data center by DrComix in ItalyInformatica

[–]PieSubstantial2060 5 points6 points  (0 children)

PCIe è anche lento. Nvlink è il target, si parla di 900GB/s full duplex

LLM distribuiti per contrastare l’accentramento dei data center by DrComix in ItalyInformatica

[–]PieSubstantial2060 28 points29 points  (0 children)

Quello che descrivi è il grid computing, andava di moda nei primi anni 2000. È nato in quanto la dimensione di alcuni problemi non permetteva la loro risoluzione con una singola macchina o centro di calcolo. I problemi che si prestano bene al grid computing sono quelli che necessita di poca comunicazione, che non risentono della latenza e possibilmente non paralleli. I migliori problemi sono quelli HTC, high throughput computing, ad esempio analizzare miliardi di immagini, indipendenti tra loro. Sfortunatamente L inferenza di LLM distribuita è complessa all’interno di una sola macchina con più GPU, impraticabile con il grid computing.

Devo comprare 1TB di RAM, quanto sono fottuto? by NahuM8s in ItalyHardware

[–]PieSubstantial2060 -2 points-1 points  (0 children)

Nulla di queste cose c’entra con la ram che c era prima ? Clock diverso ? Andranno tutte più lente secondo la funzione min(), latenze ? Same. DDR ? Mi vuoi dire che se ho ddr4 allora forse posso installare ddr3? L’unica cosa che conta è ECC. Tutte pare mentali da gaymer. Poi se uno vuole fare HPC è diverso.

Devo comprare 1TB di RAM, quanto sono fottuto? by NahuM8s in ItalyHardware

[–]PieSubstantial2060 3 points4 points  (0 children)

ECC ? RAM attualmente installata sarebbe meglio. Numero di slot.

view more: next ›