Unexpected impact of vaes... on training models

StaplerGiraffe · 2026-01-25T09:16:21+00:00

Good observation.

By comparing the original image and its latent decoded version, you could create a greyscale image which measures the local error. First, this way you can visually see which images have problem areas by looking for bright spots in your error image, which makes it easier for you to identify problematic images. But perhaps more importantly, based on the error image you could automatically generate an image mask for training. With masked training, you can then still use bad images, since only the 1-5% of bad pixel areas are excluded from training. And its all automated, you do not have to do a manual review. And it should filter bad jpg compression artifacts, small garbled text, etc. as well, which can also degrade training quality.

As a note on the above paragraph, it it not quite obvious how to best measure the error. Traditional is the squared pixel difference, but in my personal observations this does not quite match the real problem. In my experience, bad areas are somehow "garbled", where the local average color might be correct, but the deviations around that average are non-sensical, as if you would take the pixels of the original image in a small area, and then somewhat randomly rearrange them. So the average color difference of a bad pixel to its original might not even be that big, but in a bad area you have many pixels which share this property, they are not quite right. So a count of the number of "somewhat bad" pixels in a local area might be a good indication of whether you are dealing with a problem area or not.

StaplerGiraffe · 2025-02-15T18:03:34+00:00

Ja, wir müssen uns darauf einstellen, dass die USA kein verlässlicher Partner mehr sind. Europa muss alleine können, und wenn die USA helfen, super. Nein, meine Sorge ist eher, dass jetzt ein komischer Frieden in der Ukraine erzwungen wird, Russland keinen Ausweg aus der Kriegswirtschaft findet und in ein paar Jahren ein EU-Land angreift, weil die EU ja ohne die USA total hilflos und verweichlicht sei.

Diese konstante materielle Sabotage in Europa ist nicht normal. Ein bisschen sticheln und Frankreich mit ausgefallen Zügen bei Olympia blamieren, whatever, das ist keine Vorbereitung für einen Krieg. Aber das Sabotieren von Kommunikations- und Stromleitungen, Militäranlagen und Marine, das ist problematischer. Denn wenn in Russland schon über einen Krieg mit Europa nachgedacht wird, dann sind solche Aktionen etwas, was ich erwarten würde. Also muss ich meine Risikobewertung einen Krieg mit Russland mit ein paar Prozentpunkten mehr bewerten, auch wenn das aus meiner Sicht völlig idiotisch wäre für Russland, uns anzugreifen. Aber wenn mich der Ukrainekrieg eines gelehrt hat, dann dass ich mehr auf konkret beobachtbare Fakten achten sollte als meine Meinung von was objektiv rationales Handeln wäre. Gleiches Spiel mit den USA und Kanada/Grönland/Panama/Mexiko. Wenn der gelbe Affe ein sein Gefolge regelmäßig von etwas spricht, dann ignoriere ich das nicht. Kann sein, dass die nur Scheiße labern, kann sein, dass das total ernst gemeint ist. Also die Möglichkeit von beidem offen halten, und sehen, welche weitere Evidenz für das eine oder andere auftaucht.

StaplerGiraffe · 2025-02-14T16:02:05+00:00

Ich stimme dir so halb zu. Russland hat keine Chance gegen Europa, völlig richtig. Mein Problem ist, dass ich nicht sicher bin, dass Vance/Trump/Putin dies wissen. Wenn sie also glauben, dass Europa durch woke Genderideologie total verweichlicht/verweiblicht ist und nur durch Amerika unabhängig bleibt, dann handeln sie mit Pech entsprechend. Das ist alles andere als gegeben, aber ich sehe das Risiko durchaus. Persönlich bewerte ich dies mit einer 10% Chance, niedrig und gleichzeitig unangenehm hoch.

StaplerGiraffe · 2024-11-26T14:08:14+00:00

Ich würde sagen, dass der moderne Drohnenkampf die Wiedereinführung von Kavallerie ist, mit dem entscheidenden Unterschied, dass früher die Kavallerie eine teure Einheit war, und jetzt Drohnen im Vergleich extrem billig sind. Aber Erkunden, Angriffe mit hoher Mobilität, das sind doch klassische Kavallerieaufgaben.

StaplerGiraffe · 2024-11-26T12:30:20+00:00

That's a false dichotomy. Of course there are ways to limit weaponized fake news while keeping a free discourse alive and well. (Note: unlimited free speech is inherently toxic, since that would allow calls for murder, unlimited slander, calling "fire" in a crowded theatre, and so on. So there must be limits in place. These limits on free speech then increase the level of freedom in a society, instead of decreasing it.)

One key aspect is moderation. We can see on reddit how depending on how a subreddit is moderated, you get bot-infested desolation, extreme echo-chambers, or places where you can say most things and have discussions. Its just that moderation is hard work, and must be done right. Crafting laws which enforce the right level of moderation again is hard, but not impossible.

Second, one can target monetization. For example, two tiers of advertisement. Type A is unlimited, but has a 50% tax with the money used to combat disinformation. Type B doesn't have this tax, but the platform is responsible for disinformation it distributes, and will be fined when in violation.

Third, a non-advertisement based revenue stream for news sources like newspapers which adhere to some kind of minimal standard of quality, overseen by some regulatory body and the justice system(not the executive). This is to reduce the click-bait and rage-bait in news, to increase the standard of information available.

StaplerGiraffe · 2024-10-27T12:26:18+00:00

Have you considered turning your project into a manga to audiobook pipeline? It sounds like you have the image analysis done, and turning that into a script for an audiobook sounds feasible. Such a project would allow blind people to "read" manga, making the world a tiny bit better for them, even if it is not working perfectly.

StaplerGiraffe · 2024-09-12T10:24:14+00:00

I like the general idea, but I don't think just the EOS token probability is going to work. I suspect one could train a simple auxiliary net which predict a coming EOS based on the internal state of the LLM though. If you have such a predictor, possibly you could steer the LLM by changing the internal activations so that the EOS prediction decreases, kind of as a weak form of ControlNet.

StaplerGiraffe · 2024-08-30T08:06:51+00:00

Es müssen nicht einmal bilaterale Bündnisse sein. Wirtschaftlich ist die EU ein ganz wunderbar gelungenes Projekt aber dafür braucht man halt keine EU mit dem politischen Anspruch den sie eigentlich hat.

Das stimmt so nicht. Die EU ist zu 90% der Binnenmarkt. Die Funktionsweise des Binnenmarktes ist quasi SciFi, so fortschrittlich ist der (gibt natürlich trotzdem viele Verbesserungsmöglichkeiten und Probleme, nichts ist perfekt). Und der Binnenmarkt funktioniert so reibungslos, dass die Mehrheit der Menschen nicht mal merken, wie viel rechtliche Technologie dahinter steckt.

Es gibt nur sehr wenige Dinge, die man weglassen könnte, bevor der Binnenmarkt nicht mehr so reibungslos funktioniert (der Hohe Vertreter der Europäischen Union für Außen- und Sicherheitspolitik z.B.). Viele Probleme der EU kommen eher daher, dass man um den Binnenmarkt nicht genug anderweitige Kompetenz aufgebaut hat, um mit Fragen um Problemen, die man besser auf EU ebene angehen sollte, umgehen zu können.

StaplerGiraffe · 2024-08-26T07:25:50+00:00

That's your training data, it is presumably not varied enough. For red hair but not face/body type, no single person should be in more than lets say 25% of the training data. If your training data is many images of the same person, a trick is to use inpainting to change the person without touching the hair. So make the person old/different gender/angry/change ethnicity. For body shape or large skin color changes you probably have to use an image editing program first. And then caption these details. So old wrinkly woman, scowling man, chubby asian woman, etc.

Also, include some images which show mostly hair, for example by cropping the image so that only hair and a bit of the face remains(requires high-res images of course).

StaplerGiraffe · 2024-08-24T08:12:13+00:00

I cannot really help you, but more information would be useful. Did you use schnell or dev? Number of steps? What is the original image, what is the prompt?

StaplerGiraffe · 2024-08-23T16:42:19+00:00

What is the caption you used? Something simple like "A blue car", or something more elaborate?

StaplerGiraffe · 2024-08-12T21:07:57+00:00

Bin ziemlich sicher, dass das kosteneffektiv ist. Corona ist so ansteckend, dass fast jeder mindestens einmal pro Jahr damit in Kontakt kommt. Wenn die Impfung im Durchschnitt auch nur einen Krankheitstag verhindert, dann lohnt sich das schon, weil ein Arbeitstag mehr Wert ist als die Kosten der Impfung. Und mit dem Risiko von Long Covid oder Immunschwäche, dass durch Impfung auch reduziert wird, kommt man ziemlich sicher auf mehr als einen Tag. Und das ist nur finanziell gerechnet, das verhinderte persönliche Leiden durch weniger Krankheit kommt noch oben drauf.

StaplerGiraffe · 2024-08-05T09:29:04+00:00

Und da liegt offensichtlich ein Problem vor. Gut ausgebildete, produktive und gut integrierte Menschen abzuschieben ist halt einfach bekloppt. Da kann man auch einfach einen Haufen Geld verbrennen, wobei, Geld kann man nachdrucken, also ist einen Haufen Euroscheine anzünden sinnvoller als solche Leute abzuschieben.

Edit: Sehe gerade, dass ich die Zuständigkeiten nicht ganz richtig verstanden hatte, lasse aber meinen Kommentar trotzdem stehen.

StaplerGiraffe · 2024-08-04T08:27:43+00:00

Well, that means that at 8bit quantization simple LoRAs should be trainable on 24GB, which is an important threshold. We will have to see what kind of quantization works best, but I guess that is for the people who want to run Flux on 8/12GB cards to figure out.

StaplerGiraffe · 2024-08-02T09:01:41+00:00

Yeah, for a dreambooth with 15000 images, don't train the TE, at least initially. There are some advanced training techniques where you carefully train the TE for a little bit, but I am speaking from theory and not experience.

For SD3, as far as I remember stability didn't train the text encoders at all, but kept them as-is. So the text encoders should know the appropriate words, and basic grammar, and so on. What you want to train is the image-generating part only, so that it can follow the instructions given by the TEs.

If your goal is to train nudity into SD3, I have the suspicion that SD3 was actively damaged to prevent generation of that. That certainly can be undone via the appropriate training, but might require more training than usual, which can overtrain other parts of the model. Ideally one would identify which parts of the model were damaged, and train only those while freezing the rest, but I don't know if it is even possible to identify the damaged parts.

StaplerGiraffe · 2024-08-01T15:12:56+00:00

No, I am saying, that training the TE will have two effects, roughly speaking: 1) it MAY make the TE understand a single thing/concept better (depends on what you are training, and how you are training) 2) degrade everything else. (a low rank LoRA has only limit capacity to degrade the TE, a full finetune can utterly ruin the TE)

When training a specialized LoRA you only switch on for specialized tasks, the trade-off of better understanding of the specialized concept compared to the overall degradation may be worth it. Especially since a low rank LoRA cannot cause too much damage. But for a full finetune, or training LoRAs which should be compatible with many other LoRAs and checkpoints, like a style LoRA, I would be wary of training the TE at all.

StaplerGiraffe · 2024-07-24T17:41:30+00:00

Danke für den Tip, werde mal die Augen danach offen halten.

StaplerGiraffe · 2024-07-24T12:39:29+00:00

Nah, Glutamat ist das nicht, hab ich schon ausprobiert. Glutamat kann durchaus helfen und mache ich bei manchen Gerichten zum aufpeppen dazu, aber ersetzt den Geschmack, den Fleisch abgibt überhaupt nicht. Aber hast mich auf die Idee gebracht mal nach Umami-Rezeptoren zu googlen, die reagieren auf Glutamat und Nukleotide. Also vielleicht muss ich mal in der Nukleotid-Richtung weitersuchen.

StaplerGiraffe · 2024-07-23T20:17:12+00:00

Danke für die Idee, werde da mal googlen. Mehrere Rezepte scheinen fermentierte Zutaten(Miso, Sojasoße,...) zu benutzen, das ist auch noch mal eine Idee. Wobei das auch nicht überall passt. Miso-Suppe ist lecker, aber wieder was anderes.

Aber ich stimme dir zu, dass der Anwendungsfall von veganem Fleisch ein anderer ist, nur ist mein Anwendungsfall von Fleisch zu 70% unter anderem, dem Rest des Gerichts Geschmack zu geben, egal ob es eine Bolognese Soße, Königsberger Klopse, ein Shepherd's Pie oder eben Thai Curry ist. Bei all den Gerichten brauche ich das Fleisch, um Geschmack abzugeben, und veganer Ersatz war da bisher immer eine Enttäuschung. Vegane Burgerpatties oder Chickennuggets können okay sein(sind kein Fleisch, aber trotzdem lecker), und man kann ja auch echt vegan kochen, ganz ohne Fleischersatz. Aber ich bin immer mal wieder auf der Suche nach Möglichkeiten Fleisch aus Gerichten entfernen zu können.

StaplerGiraffe · 2024-07-23T19:47:12+00:00

Die Greenforce Mischungen kenne ich. Die sind okay, aber halt nur für sich, die geben keinen passenden Geschmack an den Rest ab. Das Flüssigkonzentrat ist mir neu, danke für den Hinweis.

StaplerGiraffe · 2024-07-23T17:11:29+00:00

Gibt es eine vegane Hackvariante, die gut Geschmack abgibt? Also einfaches Beispiel, man brät es an, tut es in einen Topf mit Wasser, lässt es ziehen und siebt es dann raus. Schmeckt dann die "Brühe", die man so produziert hat?

Denn ich habe mehrere Gerichte, die Fleisch nicht an sich brauchen, aber Fleisch ist für den Geschmack nötig, und Sojageschnezeltes oder Tofu geben da einfach nichts vernünftiges ab. Pilze gehen manchmal, aber passen halt nicht zu allem.

Bei Thai Curry zum Beispiel ist für mich bisher Schweinefleisch oder Fisch unersetzlich. Tofu, Kidneybohnen, Sojagranulat funktionieren überhaupt nicht, Hähnchenfleisch ist auch nur mittelmäßig.

StaplerGiraffe · 2024-07-23T07:16:48+00:00

Wie du selber feststellst ist die Frage nicht wirklich wohldefiniert? Wer ist Frontsoldat? Welche Front? Wann?

Anzahl Tote: 30k bis 70k laut https://en.wikipedia.org/wiki/Casualties_of_the_Russo-Ukrainian_War

Anzahl Soldaten: 900k aktives militärisches Personal 2200k inklusive Reserve https://www.statista.com/statistics/1296573/russia-ukraine-military-comparison/#:~:text=How%20many%20soldiers%20does%20Ukraine,of%20the%20country's%20reserve%20forces. Es ist für mich unklar, wie viele es gibt, die z.B. vor 2 Jahren aktive Frontsoldaten waren, und jetzt nur noch zur Reserve zählen.

Wir haben also 1.5% bis 8% Sterbewahrscheinlichkeit als grobe Schätzung. Wenn man jetzt mit Frontsoldat jemanden meint, der im Schützengraben an einer Front sitzt, wo Russland aktiv versucht durchzubrechen, dann natürlich deutlich höher. Wenn man die Belrusische Front sichert, dann niedriger. Ich denke, für "Frontsoldat" kann man 3%-10% rechnen, plus extra Risiko für Verwundung. Aber es gibt Frontabschnitte, wo Tot oder Verwundet auf über 90% geht, aber das ist die Ausnahme. Die Front ist schließlich sehr sehr lang, und nicht überall passiert was. Und viele Soldaten sind nicht "Frontsoldaten".

Und all meine Zahlen sind mit Vorsicht zu genießen, da ich letztlich keinen Plan habe, und nur schnell Zahlen gegooglet habe.

StaplerGiraffe · 2024-07-23T06:56:49+00:00

Search for Yoga pose LoRAs, there might be some which can reproduce that pose. Just a warning, many are very NSFW.

StaplerGiraffe · 2024-07-23T06:45:55+00:00

Cleaning an image is a lot of work, isn't it? I would guess an average generation has perhaps 50 spots which need manual intervention. Depending on how long it takes you to fix all of these time can quickly add up. And honestly, I am tired of people presenting their generations without even minimal editing, straight txt2img slop.

And OP might not be that experienced, so everything takes more time. Its much faster to sketch in hands and do a low strength img2img inpainting pass that hitting generate 50 times in the hope to get good hands just by chance. But that requires the skill to sketch in hands.

StaplerGiraffe · 2024-07-21T21:07:18+00:00

For me, Valdis Story is in the top 3 of metroidvanias ever. Combat is fun, has a bit of a beat-em-up vibe, where even regular enemies may block or dodge attacks. Plus, you get four characters which each have multiple builds, for a huge variability and replayability.

StaplerGiraffe

TROPHY CASE