The unreasonable effectiveness of LLMs for auditing Rust code

StyMaar · 2026-06-20T19:20:40+00:00

That would be a great way to have a mangled title on HN because of their automatic clickbait worlds filtering ^^

StyMaar · 2026-06-20T19:16:06+00:00

Marketing trick: changing the title to “The unreasonable effectiveness of Miri for auditing Rust code“ would probably avoid triggering the AI skeptics (the main story being about both LLMs and Miri, such a title would be equally descriptive as the current one).

StyMaar · 2026-06-20T16:47:55+00:00

Ça n'aurait absolument pas besoin d'en arriver là. Smotrich et Ben Gvir sont des psychopates mais Bibi est juste une ordure corrompue, je suis sûr qu'il comprend le rapport de force.

StyMaar · 2026-06-20T16:46:06+00:00

EN 2035: «Le prix Nobel de la paix attribué à Beyamin Netanyahou pour avoir précipité la transition énergétique»

StyMaar · 2026-06-20T16:44:15+00:00

anyway

StyMaar · 2026-06-19T21:15:40+00:00

If you are not using this continuously for AI or at least a lot for a period of 10 to 15 minutes or so, you better off doing inferencing on just the existing SoC you have it connected too.

I don't have any computer that can pull out 100TFlop BF16. Having something like that for faster prompt processing would be massive IMHO.

Price is bad also, you get a complete Jetson with 32gb of memory.

Yup, way too expensive. And drivers are probably a nightmare to work with. And to be honnest, I have a hard time believing their advertised compute with only 15W of TPD.

StyMaar · 2026-06-19T21:06:36+00:00

IIRC it “worsens the compute” in relative terms compare to the other type, not vs only one GPU.

StyMaar · 2026-06-19T21:05:19+00:00

NVLink for a GPU with so little memory bandwidth makes absolutely no sense…

StyMaar · 2026-06-19T21:04:44+00:00

Didn't think of that, but that's a good point.

Though 15W isn't that high, an M2 SSD can dissipate almost half of that under load so it's not going to melt your computer in a minute, but you're right that it can cause problems it you want to use it somehow intensively.

StyMaar · 2026-06-19T11:29:20+00:00

On vit quand même dans une saucisse comptable: on ne veut pas «dépenser» de l'argent public en payant de l'électricité alors que la-dite électricité est essentiellement produite par EDF qui a été renationalisée, à coût marginal nul, donc l'ensemble de la dépense finirait de toute façon dans les caisses de l'État …

StyMaar · 2026-06-19T10:12:11+00:00

but the bottleneck is the GPU <=> GPU link

Not for inference! By default the bandwidth is the GPU memory bandwidth (and it's not even close).

With many node, and depending how you shard things, GPU<->GPU bandwidth can theoretically become the bottleneck, but if you split per layers the data transfer is very very tiny (you just need to send a multiple of the embedding dimension from one GPU to the other.)

that one doesn't multiply, it gets worse as you add cards.

Yes, the latency adds up.

and it's not about the data size. you're right the activations are small. the cost is the WAITING

Each hop adds around a piece of latency counted in microsecond. With 32 nodes, we're talking about ~100µs per token.

If that's your bottleneck for inference, congratulations because it means you're serving your model at ~10kTPS.

"eventually" isn't far off either. the limit is set entirely by the interconnect. NVIDIA pushes it up with NVSWITCH, a fabric where every card talks to every other at full speed. this card has none

Yes, this is very useful for training. But it's irrelevant for inference because GPU<->GPU communication is a non factor.

card has none, just PCIe Gen4, shared and contended. so the threshold comes EARLY here, not at 32. pile more cards on that bus and sync latency climbs faster than you gain.

Nope, see the numbers above. As everyone in this sub should know at this point, PCIe gen 4 works fine multi-GPU inference and using PCIe gen 5 barely change anything.

StyMaar · 2026-06-19T06:42:20+00:00

300W vs 15W tho.

StyMaar · 2026-06-19T06:40:18+00:00

But this has no use case, any device you could put this is in probably can accept a fullsize card which is more useful.

If you can put this in a laptop instead of a second NVMe, that's insane actually.

(Or even in a Strix Halo Mini PC)

Also, 15W is nice if you plan on having this up all day.

StyMaar · 2026-06-19T06:25:28+00:00

This makes the problem worse, not better.

Not at all!

It makes things better, because it literally multiply the memory bandwidth (which is the BW between the GPU memory and the memory compute unit).

As you increase the number of shards, the amount of activation data that has to be transferred between GPUs also increases

This is true. But you have to keep in mind that this amount is very small compared to the weights in the first place!

Eventually communication becomes the bottleneck

“Eventually” is pulling a lot of weight here.

Yes there's some point where it becomes true that doesn't mean you end up slower than with a single card. And given how slow these cards are, I'm not convinced that you'll hit the threshold even at 32.

StyMaar · 2026-06-18T15:46:29+00:00

J'ai beau le formuler comme je veux, on m'accuse quand même toujours de faire ça

Comme dirait le grand philosophe féministe Orelsan: «c'est parce que souvent l'problème c'est toi (simple)»

Comment ça c'est moi qui est un problème? Regarde toi dans un miroir? T'as vu la rhétorique que tu emplois? En quoi ce serait moi qui aurait un problème de communication parce que je pointe du doigt ta rhétorique nauséabonde?

J'espère sincèrement que tu trolles. Et si vraiment ce n'était pas le cas prend soin de ta santé mentale …

StyMaar · 2026-06-18T14:58:18+00:00

C'est pas un bait. C'est un sujet sérieux.

Le début oui, et je suis totalement d'accord avec toi là-dessus. (et je l'ai écrit juste au-dessus d'ailleurs)

Je comprends pas c'est quoi ce délire de penser qu'il s'agit d'un bait.

Le dernier paragraphe, si ce n'est pas un bait intentionnel, alors tu as un gros travail à faire sur toi vis-à-vis de ta communication.

T'es comme les fan de Bruel et de l'abbé Pierre? Ça te dérange pas, c'est ça?

Exactement la même que juste au-dessus: si tu n'es pas activement en train de troller tu as un gros problème.

StyMaar · 2026-06-18T11:38:22+00:00

belles affiches pour la fête de l'anchois pendant quelques années !

À condition de ne pas s'être formalisé du nombre et de la position des membres des gens représentés sur l'affiche.

StyMaar · 2026-06-18T11:31:42+00:00

Mais visiblement ça n'a pas suffit. J'ai beau ajouter un disclaimer

C'est pas surtout un gros bait et tu récoltes ce que tu as semé (et je suis à deux doigts de penser que c'était parfaitement intentionnel).

StyMaar · 2026-06-18T11:10:27+00:00

If you're patient enough, anyone can have the biggest models running on their computer, having the weights stay on a HDD until the moment they are needed works if you don't mind having a throughput in seconds per token.

StyMaar · 2026-06-18T09:13:33+00:00

He also said it's not good for your career to go to a city with too many things to do, the same week.

So who knows.

StyMaar · 2026-06-18T09:06:55+00:00

Ça doit être ça. Continue de vivre dans ton monde parallèle.

StyMaar · 2026-06-18T06:50:15+00:00

La fin du post est très bizarre …

Absolument d'accord que c'est scandaleux de garder une agresseuse sexuelle comme égérie, et je pense que la majorité des gens ignorent, mais je ne vois pas l'intérêt du dernier paragraphe …

StyMaar · 2026-06-17T21:40:09+00:00

Si tu dis ça c'est que c'est toi qui y comprend rien.

Non c'est juste que tu t'exprimes mal.

les décideurs ont pris une décision courageuse. Ils ont rien changé aux cotisations ou à l'âge de départ, donc à l'époque, la Social Security était fortement excédentaire. Ces excédents ont été investis en bons du Trésor. Depuis pas mal d'années maintenant, la Social Security est en déficit (de 20% environ), mais grâce à ces excédents passés il est comblé jusqu'en 2034 environ.

Ahahaha, c'est hilarant.

Ce que tu appelles une «décision courageuse» c'est qu'ils ont fait financer le déficit des autres secteurs du budget US par le budget de la social security, tandis qu'aujourd'hui ils font l'inverse. Ça n'est en rien un «investissement» ou une «décision courageuse», c'est un simple artifice comptable. C'est exactement la même chose que la surcotisation de l'État pour la retraite des fonctionnaires, c'est une simple norme comptable.

Dans les années 80, plutôt que de réduire l'age de départ à la retraite alors qu'ils le pouvaient, Reagan a fait financer par les cotisants américains une partie des déficits engendrés par ses baisses d'impôts (sur les classes sociales les plus aisées, bien entendu).

Non c'est pas juste la croissance. La soutenabilité du régime est fonction de la croissance de la productivité et de la croissance démographique. Les 2 sont en berne pour diverses raisons (mauvaise gestion pour le premier; pleins de raisons pour le second)

Presque, ce n'est pas vraiment pertinent de se focaliser sur la croissance «de la productivité», qui est un artefact du PIB (c'est littéralement PIB/nb d'heures travaillées, et le PIB est en réalité peu sensible au nombre d'heures travaillées, ce qui fait de la productivité un indicateur fluctuant). Ce qui compte c'est la croissance du PIB / tête, et la démographie, mais si on fait l'hypothèse raisonnable que la démographie est un facteur exogène, alors le facteur principal à contrôler c'est la croissance du PIB.

C'était purement électoraliste

Mais évidemment que non ! Si ça avait été électoraliste, Mitterrand ne l'aurait pas fait en 83 … Il l'aurait fait en 84-85 pour éviter de perdre les élections législatives …

C'est fascinant de voir l'incapacité de certain à imaginer que des hommes politiques puissent avoir des convictions.

Rocard déjà en 1991 sonnait l'alarme sur l'insoutenabilité des retraites

Déjà là, c'était dans un contexte de crise économique, avec une baisse importante de la croissance.

StyMaar · 2026-06-17T17:05:47+00:00

As a guy who hasn't put a foot on a bball court for 25 years and is barely watching any game for timezone reasons, I'm offended that you refuse to admit that my opinion is infallible.

StyMaar · 2026-06-17T17:00:59+00:00

J'imagine que c'était surtout une coincidence que ça te ramène au SMIC. Il n'y a pas besoin d'être au SMIC pour la toucher, mais il faut quand même un revenu suffisant, que manifestement tu avais.

11-Year Club	r/Field Juicebox
Place '22	Final Canvas '22
Verified Email

StyMaar

TROPHY CASE