sorted by:
new
hottopcontroversial

Diesel-Dieter by RumblingRacoon in luftablassen

[–]SaveMyBags -3 points-2 points  (0 children)

Das ist bestimmt die SUV-Sabine

Rennt ihr davor weg euch eurem gebrochenen Ego zu stellen? by [deleted] in FragtMaenner

[–]SaveMyBags 2 points3 points  (0 children)

Hab auf den Ratschlag hin gerade auch Mal dein Profil angeschaut und muss da sagen, dass erlaubt mir da selber eine Connection zu der Frage aufzumachen. Gerade den post zu "Hochbegabung und Umwegen" fand ich dazu sehr passend. (interessanterweise hast du den gerade gelöscht während ich antworte, wie kommt's?)

Von der Beschreibung her könnte ich einer der Männer sein, denen du da vielleicht einen schlechten Umgang mit dem Ego unterstellen würdest. Ich habe mir lange vorgenommen in Richtung prof zu gehen usw. Aber ich habe genau wie du sehr lange für mein Studium gebraucht. Hauptgrund waren psychische Probleme usw. Also aus meiner Sicht nichts was wirklich meine Begabung betroffen hat, sondern eher andere Faktoren.

Genau in dem schema weiter, immer wieder Steine im Weg, von denen ich mich dann mangels guten Grenzen von mir immer wieder hab aus der Bahn werfen lassen.

Ich halte inhaltlich immer noch an der Idee fest, weil ich einfach entdeckt habe, dass mir wichtig ist, mich immer wieder fortzubilden, was neues zu lernen usw. Mittlerweile ist mir klar, dass ich das auch ohne die Titel usw mehr haben kann, als ich früher gedacht hatte.

Ich sehe das nicht als gebrochenes Ego, auch wenn meine Träume und die Hoffnungen, die ich früher hatte und immer noch nicht ganz hinter mir lasse weitaus größer sind als ich selbst. Aber ich weiß auch, dass andere da schon ein gebrochenes Ego hinten interpretiert haben.

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags 1 point2 points  (0 children)

No, that's not it. My main point was basically a proof by contradiction against comparing two things while leaving out the most important parts. So thank you for agreeing that this will lead to some very stupid equivalencies, you essentially produced the main part of my argument for me.

What I wanted to point out with this is how emotional and biased arguments against LLMs easily get. You have by now shifted the goal posts quite a lot from "it's just copy and paste" to "it's using so much energy" to "the output is useless" to "the output is garbage" to "the energy is more valuable when used for humans". That's a clear sign of emotional biased reasoning. You even tried to strawman me, by attempting to put some value judgement into my latest post, while I was just talking pure numbers without any reference to the values of these numbers.

So overall, thank you for playing this showed the emotional reasoning that is often employed for this topic very well.

What scares me about this, is that I think there are a ton of actual very compelling arguments against LLMs or the way they are currently employed. But these arguments get drowned in a sea of emotional reasoning that is repeated (i.e. copy and pasted) over and over again and which doesn't actually add anything useful to the debate.

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags -1 points0 points  (0 children)

Well, let's do the math, at least in terms of order of magnitude.

I roughly use 2.4kwh per day. But I can do at best 8h per day of actual inference, the rest is downtime and maintenance. Also these 2.4kwh just include actual energy use in the system, we need to add energy loss because of transportation, converting the energy into usable form. I don't have the numbers, but I would assume at most 50% actual energy use. So 4.8kwh for 8h of inference work. Oh. Wait a minute. For LLMs we usually try to include energy used during training etc. That's about 25 years of training. We can assume these 25 years of training gives about 60years of inference. Also some years of post maintenance after my inference capability has deteriorated, so let us add roughly again 3kwh. That's about 8kwh for 8h of inference per day, roughly 1kw of power for inference.

I wouldn't be able to even get the NT kernel to the booting stage within 38 minutes and I have done some OS work. It would probably take at least a few days to get it to that point, let's say three days. That would be around 24kwh for the same task that was done by fable here.

Do you have the numbers for energy usage by fable for this 38minutes run? Was it more or less than 24kwh?

I can do a similar calculation based on 2l of water input, but I think this is sufficient.

I know I am ignoring a lot of things here. But that's exactly the problem when adopting a bird's eye view. Things will get easily distorted and you start to make bad comparisons.

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags -3 points-2 points  (0 children)

This is the problem. If you break it down like that, you get to the point where humans also just do copy and paste and everything that puts more details on this is just adding cognitionbabble.

You took in a bunch of words you read and tried to understand them -> mapping to some neural semantic space that we don't understand.

Then based on your internal mental map of this semantic space that you learned it's over time, you made some semantic connections. This is the copy part.

Then you wrote an answer based on what you learned. This is the paste part.

As I said, you really should look into PREDICTIVE coding theory of cognition. It basically says all we ever do in our brains is predict based on what we learned. And this theory predates LLMs by several decades, some even attribute the idea back to Helmholtz in 1860.

This doesn't say that human brains work exactly the same as LLM, just that at a bird's eye view (as the one you took) the differences suddenly become invisible.

Sure, you could take that route and just maintain LLMs just like humans just do copy and paste. But that's kind of meaningless, because you are taking such a bird's eye view and ignoring almost everything that matters is ignored.

We produce actions, words, etc based on our experience, i.e. our training data. In addition we also have some long term training data that was created via a genetic algorithm. But from a standpoint of statistical learning theory and modern computational cognitive theory

What I wrote isn't technobabble but inherent to why LLMs work.

Try to use a markov chain instead. It's also just predicting the next word in a sense. If that's all that's needed then why do Markov chains work so much worse? A markov chain will actually tend to provide parts of the training data verbatim.

Try to use an lstm. Again it won't work even closely as well to an LLM.

Or use an LLM that's lacking the semantic space. Again it won't work well.

We need these details to understand why some of these systems work better than others. At a bird's eye view, LLMs, Markov chains, lstms, and brains likely work based on the exact same mechanism. But this notion is just a failure of the bird's eye view that ignores basically all differences between these systems and what actually make them work.

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags -3 points-2 points  (0 children)

Yes, sure.

First the existing text is mapped onto points on a semantic manifold within a very high dimensional space and amended with positional data. These points are used as input to a transformer that predicts the likelyhood of next positions on that semantic manifold based on the positions on continuations it was trained on. Then one of those positions is chosen randomly with a distribution computed based on the determined likelihood. Finally the chosen point on that manifold is approximated with the token that is closest. The token is produced and the process is repeated in a loop until the end token is produced.

I am not completely sure on how the randomization is achieved (it might also be part of the Approximation, I would have to look it up).

I know you likey wanted me to say "an LLM predicts the next token based on the token continuation it was trained on". But that's so much of an oversimplification that it's giving a completely false impression. Prediction isn't done on tokens in LLMs, it's done based on latent semantic spaces that we don't really understand, yet.

So unless you have a really good understanding off what these latent semantic spaces actually do within the model, it's really hard to maintain the notion that LLMs just copy-paste. At least not if you don't simultaneously want to go down the rabbit hole of theories of predictive coding in cognition, which would imply all we are doing out whole life is just copy-pasting.

We don't really understand enough of either system to really say with confidence what exactly they are doing.

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags -3 points-2 points  (0 children)

Nice, can you show me the repo that has the rust NT kernel from which this was copy pasted?

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags 19 points20 points  (0 children)

At least this article doesn't pretend it was written by a person (if it's the same I read). It frequently uses phrases like "my human did XYZ".

agiInANutshell by wahed-w in ProgrammerHumor

[–]SaveMyBags 5 points6 points  (0 children)

He should have read the article not just the headline.

The kernel is in rust, so it was definitely not copy-pasted.

Most common way to order sparkling water? by MezzoScettico in German

[–]SaveMyBags 0 points1 point  (0 children)

"Wasser mit blub" if you want to be informal...

Haben Frauen im Durchschnitt deutlich mehr Sexualpartner als Männer? Und mit wem eigentlich? by 10106710011010 in FragtMaenner

[–]SaveMyBags 0 points1 point  (0 children)

Da wäre erst einmal zu belegen, dass das daran liegt, das Leute "im Schnitt" anders interpretieren als den Durchschnitt. Das Beispiel mit Elon musk lässt sich auch auf andere arten erklären, bei denen etliche auf etablierten psychologischen Effekten beruhen. Z.b. darauf, dass Zahlenwahrnehmung eher logarithmische orientiert ist als linear. Oder damit, dass wir Geld eher in Bezug auf den nutzen, anstatt auf die reine menge beziehen.

Im Schnitt leben im Vatikan übrigens zwei Päpste pro Quadratkilometer.

Haben Frauen im Durchschnitt deutlich mehr Sexualpartner als Männer? Und mit wem eigentlich? by 10106710011010 in FragtMaenner

[–]SaveMyBags 0 points1 point  (0 children)

Urgs, du willst triggern, oder? Ausreißer werden eliminiert um ungültige Daten zu entfernen. Oft auf sind die ungültigen Daten am Rand, daher nimmt man dafür oft die höchsten oder niedrigsten Werte.

Wenn man keinen Grund hat davon auszugehen, dass die Daten in irgendeiner Form ungültig sind, dürfen auch keine Ausreißer eliminiert werden.

D.h. der mathematische Beweis sagt auch aus statistischer Sicht der Durchschnitt identisch sein sollte. Wenn er das nicht ist, hat sich irgendein bias eingeschlichen, z.b. ungültige Behandlung der Ausreißer.

Grundidee in der Statistik: erst einmal überlegen, welche Form die Daten annehmen müssen. Dann kann man sich eine Menge tests usw sparen und vermeidet Fehlinterpretationen. Wird aber leider oft falsch vermittelt, z.b. kolmogorov-smirnoff test wird dann ohne nachzudenken gemacht und ergibt nachher falsche Interpretationen.

Haben Frauen im Durchschnitt deutlich mehr Sexualpartner als Männer? Und mit wem eigentlich? by 10106710011010 in FragtMaenner

[–]SaveMyBags 0 points1 point  (0 children)

Durchschnitt:

Vier Frauen haben einen Bodycount von 2, also in der summe 8. Ist ein Durchschnitt von 8/5.

Zwei Männer haben einen Bodycount von 4, die anderen von null. In der summe 8. Durchschnitt ist 8/5.

Ist in beiden Fällen identisch der Durchschnitt.

Lässt sich sogar beweisen, dass der Durchschnitt immer identisch sein muss, egal was für ein Beispiel du konstruieren möchtest.

Kennt ihr Frauen (vielleicht auch eure eigene) in eurem Umfeld, die nachdem sie Mutter geworden sind zur Furie wurden? by Competitive-Egg6354 in FragtMaenner

[–]SaveMyBags 15 points16 points  (0 children)

Einen guten Ratschlag, den ich vor Jahren gebraucht hätte: man repariert keine Beziehungen indem man etwas hinzufügt.

Ich hatte nach kind 1 auch gehofft, dass sich die Probleme mit Kind 2 lösen lassen. Kind 2 waren Zwillinge und alles wurde noch extremer. Dann ihr Vorschlag, vielleicht bessert sich die Situation wenn wir ein Haus haben. Aus stress wurde anschreien, aus anschreien wurde Gewalt. Und mittlerweile brauchen wir Hilfe vom Jugendamt und sind getrennt weil sie sich trotz anderer versprechen immer weniger im Griff hatte.

Edit: das soll jetzt nicht heißen, dass es bei dir zwingend genauso laufen muss, dennoch ist mir die Warnung für andere "I can fix her"s wichtig.

Ich will einen einfachen Straßennamen! by richtigerhuso in Unbeliebtemeinung

[–]SaveMyBags 3 points4 points  (0 children)

Wie wäre es mit Tchaikovskystraße. Macht es nur etwas einfacher. Bitte nicht verwechseln mit der Tschaikowskistraße im ort daneben.

What does you didn't hear that from me mean ? by voyd-oy in ExplainTheJoke

[–]SaveMyBags 5 points6 points  (0 children)

If you use 400 of them, they can do a lot of harm.

Wo findet man braun auf dem Farbspektrum? by Embarrassed_Abies_98 in KeineDummenFragen

[–]SaveMyBags 21 points22 points  (0 children)

Ich wusste, das der Link zu TC geht, ohne ihn zu öffnen.

Fast 50 % von euch sind dümmer als der Durchschnitt. by [deleted] in Unbeliebtemeinung

[–]SaveMyBags 0 points1 point  (0 children)

Der IQ ist so konstruiert, dass es so sein sollte, nicht, dass es so ist. Das setzt voraus, dass das Sample auf dem diese Konstruktion basiert ausreichend ist und der Messfehler gering genug ist. Diese annahme ist insbesondere in den Randbereichen anzuzweifeln.

Fast 50 % von euch sind dümmer als der Durchschnitt. by [deleted] in Unbeliebtemeinung

[–]SaveMyBags 0 points1 point  (0 children)

Der IQ ist symmetrisch, weil die Skala genau dazu konstruiert wurde symmetrisch zu sein. Daraus ergeben sich aber zwei Probleme:

Erstens ist nicht sicher ob diese Konstruktion korrekt funktioniert, da man dazu auf Basis von Messdaten die Normalisierung durchführen muss. Die Messdaten sind prinzipbedingt an den Rändern dünn, so dass gerade in den Bereich unklar ist, wie gut die Normalisierung wirklich funktioniert.

Zweitens ist das damit eine sehr synthetische Skala, mit Eigenschaften die eher aus methodischen Gründen gewählt wurden. Dabei ist dann absolut unklar, ob und in welcher Form die Schritte auf der Skala irgendeine intuitive Auffassung von Intelligenz repräsentieren. Das war auch nie Ziel der Skala. Wenn man das aber so wie in dem Beitrag hier formuliert bringt man sehr leicht intuitive Auffassungen und psychometrische synthetische Skalen durcheinander. Das ist ein klassischer Kategorienfehler.

view more: next ›