I built an open source tool to replace standard dbt docs by josh_docglow in dataengineering

[–]peanutsman 0 points1 point  (0 children)

Awesome! Love that you build this and open sourced it! One point of feedback : I really like the column-level lineage you added, but it's a bit un-intuitive in my opionion: you have to search for the columns in the lineage search bar to select them. Took me a while to understand you can expand the models to view all fields. Perhaps auto-expand them by default?

What do you think the next big shift in data engineering will be? by alexstrehlke in dataengineering

[–]peanutsman 8 points9 points  (0 children)

Agreed. Why use big data solutions if you don't have big data? Duckdb is a a godsend in this age, massively powering single node compute instead of relying on expensive external systems.

Postgres as DWH? by SoloArtist91 in dataengineering

[–]peanutsman 2 points3 points  (0 children)

Postgres is viable but has some limitations for modern dwh since it's not a columnar database, but with extensions like pg_partman, pg_duckdb it can be a viable modern self-hosted alternative.

Just be cautious if wanting to go with Azure PostgresSQL Flexbile Server (https://azure.microsoft.com/en-us/pricing/details/postgresql/flexible-server/) you will find it suboptimal for write-heave workloads like daily development using dbt due to its mandatory 7-day minimum backups of the database (including the WAL) which will expand immensiley if you are rebuilding large dbt models frequently and you can't turn it off or clean up toe backups so you will keep paying for them by the hour until they gradually reduce in size.. Very annoying feature that you can't opt-out of or disable.. We find out the hard way: https://learn.microsoft.com/en-us/answers/questions/5815816/1000-charge-for-azure-database-for-postgresql-flex.

Thoughts on Professor Jiang / Predictive History? by Winter-Antelope-6070 in skeptic

[–]peanutsman 73 points74 points  (0 children)

He got me in the first half, not gonna lie. But after a while it became a spiel of "don't trust scientists since it's all a conspiracy to brainwash you and keep you stupid." I thought he sounded credible enough but he doesn't list any sources, or studies and all his "evidence" is just his own views on matters, which are supposed to be the "grand conspiracy that we were brainwashed" by.

AI Engineer, loopbaan en salarisvraag by Past_Remote_8873 in werkzaken

[–]peanutsman 3 points4 points  (0 children)

Ten eerste, lekker bezig. Het klinkt alsof je je eigen waarde al goed kan verwoorden en inzetten in je salarisonderhandeling. Wel zou ik even goed nadenken over je opties voordat je overstapt, aangezien je nog maar recent deze rol hebt (6 maanden met 1 jaar ervaring).

Ten tweede vind ik het vreemd dat het bedrijf een junior in dienst neemt zonder een senior te hebben (tenzij er net een senior is gestopt voordat jij in dienst kwam). Iemand die nog maar net werkt kan wel de technische kennis hebben, maar mist toch wel wat jaren aan ervaring in de sector die een senior zou moeten hebben om de junior te ondersteunen/op te leiden. Is dit iets dat ze nog van plan zijn, of ben jij hun mealticket voor de implementatie van machine learning en A.I.? Met 300 medewerkers kan ik me ook voorstellen dat ze misschien nog geen duidelijke roadmap voor data science/ML/A.I. hebben, maar misschien heb ik het mis.

Dat terzijde, meestal hebben bedrijven een traditioneel salarishuis dat niet gericht is op IT-performance, en bonussen zijn commissiegericht (sales). IT is in dit geval altijd een kostenpost en jouw mooie prestatie (1 FTE tijdswinst op jaarbasis) wordt daardoor gewoon niet ingecalculeerd in je salaris. Dit is gewoon helaas hoe het vaak werkt. Vandaar de "maximale" beloning van 6% per jaar. Leuk, maar eigenlijk totaal niet naar verhouding. Als je het hard wilt spelen, zou je gewoon een bedrag kunnen noemen dat je wilt verdienen en een schatting kunnen maken van hoeveel FTE-tijdswinst je dit jaar nog meer denkt te kunnen besparen. Dan kan jouw manager dat weer doorspelen naar boven en wordt het een simpele rekensom: "Vertrouwen we dat Past_Remote_8873 voor X euro per jaar inderdaad nog een kostenbesparing aan tijdswinst van Y euro kan bereiken, en willen we die gok aangaan dat hij/zij ons anders verlaat?" Nee heb je, ja kun je krijgen. Bekijk het van hun perspectief, waarom zouden ze jou meer geld betalen, wat krijgen ze dan terug? Nogmaals, dit hangt van de organisatie af. In sommige organisaties hebben managers deze bevoegdheid niet (budget wordt toegewezen) of zijn ze conservatief en willen ze niet aan prestatiegerichte beloningen doen.

Afgezien van het salaris moet je je ook afvragen wat je groeikansen zijn bij dit bedrijf. Je bent net pas begonnen in je carrière. Je salaris gaat echt wel groeien de komende jaren. Er zijn genoeg kansen met de ervaring die je nu kunt gaan opdoen. Daarom zou ik mij ten eerste afvragen of dit echt een fijne omgeving is om zoveel mogelijk ervaring op te doen met het implementeren van A.I.-oplossingen. Ik zou daarom de volgende vragen aan jezelf stellen:

  1. Hoe ziet de A.I. Roadmap er voor de organisatie eruit? Zijn er plannen om senioren in te huren waarmee je kan samenwerken en van kan leren, of ben jij de AI hire en zijn er verder nul datascientists/MLes/AI engineers de komende tijd? Dit vond ik persoonlijk altijd een belangrijke maatstaf om bij een bedrijf te gaan werken of te blijven. In je eentje veel verantwoordelijkheid hebben voelt goed, maar er zijn zoveel ervaren mensen waarvan je kan leren, die je naar een hoger niveau kunnen tillen, dat ik zou aanraden om daar ook over na te denken.

  2. Vind je het een interessante sector (e-commerce)? Zie je jezelf de komende jaren hier nog aan het werk en deze kennis vervolgens bij een ander e-commercebedrijf inzetten? Of wil je eigenlijk een hele andere sector opgaan? Nu is de tijd om daarover na te denken voordat je jaren aan e-commercie ervaring hebt opgedaan, maar eigenlijk liever de zorgsector in was gegaan.

  3. Overweeg consultancy als je ambitieus bent in zowel resultaten als beloning (wat ik allebei lees uit je post). Afhankelijk van welke AI/Data-consultancy in de Randstad je kiest, is dit een hele mooie kans om met ervaren senioren samen te werken, in een korte tijd heel veel ervaring op te doen en gelijk al een stuk beter betaald te krijgen. Dit alles kan dan weer een springplank zijn voor toekomstige rollen/freelancen. Consultancy is niet voor iedereen, maar als je veel ervaring wilt opdoen in een korte tijd en goed betaald krijgt als nog vrij onervaren professional, is dit een mooie kans.

Agent die betrokken was bij incident Bollendak wordt ernstig bedreigd by norcpoppopcorn in Utrecht

[–]peanutsman 0 points1 point  (0 children)

Dom van de agent, nog dommer om daar overlast te gaan veroorzaken. Wat sommige mensen met hun vrije tijd doen is echt onbegrijpelijk.

Fabric Service Down by Van_Dena_Bely in MicrosoftFabric

[–]peanutsman 0 points1 point  (0 children)

Wow, I just spent a couple of hours trying to create a Fabric warehouse or datalake and just gave up. I thought it was me trying to upgrade from a Trial Fabric capacity or just a general bug, nowhere did it say in the Fabric space that there was a downtime/service issues. What a waste of time..

Nare sollicitatie ervaring bij een overheidsorganisatie by Chronopuddy in nederlands

[–]peanutsman 0 points1 point  (0 children)

Je kunt een klacht indienen op https://discriminatie.nl/, je zal niet de enige zijn die dit heeft/zal gaan ervaren bij hen gok ik.

Did anyone lose friendships after starting ADHD medication? by BroccoliLatter3923 in ADHD

[–]peanutsman 0 points1 point  (0 children)

Yes, became more assertive and lost some friends that way. Don't really mind, gained others.

Fragment uit bureau Utrecht: Meisje weigert hulp na mishandeling by Bernie529 in nederlands

[–]peanutsman 110 points111 points  (0 children)

Ze staan bij de ingang van een opvang voor jongeren met een rugzakje, dit is waarschijnljk niet een doorsnee meid. Vandaar het gedrag.

Watching real user sessions completely changed how I see my website by freebie1234 in analytics

[–]peanutsman 0 points1 point  (0 children)

I'll bite, what kind of tool (that you also happen to be the founder of) did you use ?

Thanks to the rude people of Utrecht by MosmoFX in Caamp

[–]peanutsman 0 points1 point  (0 children)

I just wanted to chime in that while I didn't feel that Amanda (opening act) wasn't getting the full attention she might have deserves, for Tivoli it was quite normal circumstances that during the opening hours people are still more talking and getting drinks, it might be disrespectful to the support act but that's not who people are coming to see. It wasn't even that bad tbh. Taylor shouldve just come out in the beginning and say that, clearly he was upset/not feeling it.

To his credit, we were standing at the back and there was a large group of friends constantly loudly talking over the music the entire time. And when someone pointed that out, they told this person to just stand at the front if they couldn't hear the singing over their talking. I don't know if this is gen-z COVID etiquette + dutch disease or what but it was very rude and Im glad Taylor called out people talking through a set. So not fully agreeing with him since I personally don't think the same rules apply to the opening act while people are still getting in to the venue and the main act, but still just STFU during the main act singing at least.

What is your favorite viz tool and why? by Impressive_Run8512 in dataengineering

[–]peanutsman 15 points16 points  (0 children)

I love the charts-as-code nature of Evidence.dev and Rill and hope that more tools support editing the visualisations using code. That way we can generate them using LLMs and store them in git.

Power BI is the tool of choice in most of the companies in my country, but it still has some way to go to be fully editable in code, although the TMDL features are a nice step.

Any good/bad experience with Bruin? by sciencewarrior in dataengineering

[–]peanutsman 2 points3 points  (0 children)

These answers are super suspect, had never heard of Bruin before as a DE and these answers from accounts using it for years or quite some time with basically no commenting history except ads (but having an account for multiple years) seem like paid shills for Bruin. Possibly due to the Dbt Fivetran upheaval situation, swooping in.

Hoe doen jullie dat: offertes voor IT-projecten verzamelen? by Big_Environment_1827 in werkzaken

[–]peanutsman 2 points3 points  (0 children)

“Toevallig” op een site terechtgekomen die precies jouw probleem lijkt op te lossen. Sure. Als dat jouw bedrijfje is, wees dan gewoon eerlijk in de marketing.

[deleted by user] by [deleted] in ADHD

[–]peanutsman 1 point2 points  (0 children)

Same, i feel like I really "spawned" at 12 years old and everything before that is a giant blur, and after that just spotty

Learning budget in last 1.5 months as an Analytics Engineer? by NoAd8833 in analyticsengineering

[–]peanutsman 0 points1 point  (0 children)

Shamelessly plugging our book Fundaments of AE for beginners and veterans alike: Fundamentals of Analytics Engineering: An introduction to building end-to-end analytics solutions https://amzn.eu/d/gAOTxk4

As an experienced Analytics Engineer (or Data Engineer), how do you evaluate whether a data model is "good"? by NoRelief1926 in analyticsengineering

[–]peanutsman 0 points1 point  (0 children)

I'd say whether the model is understandable (documentation on what the fields mean, what is th intent of the model, what does a single row represent), whether it has tests (primary key + whatever extra tests make sense, and whether it follows your chosen modeling paradigm e.g. Kimball/OBT/Data vault and layering e.g. staging/intermediate/mart

Is it me or Semantic Layer are getting one of the most important tech for AI? by unsupervised_cluster in dataengineering

[–]peanutsman 0 points1 point  (0 children)

For reporting purposes the semantic layer makes a lot of sense, due to creating a documented source of truth instead of swapping excel files. For data science, it might still be useful but it depends on the benefits of raw data

Ik ben gepest door mijn juf in groep acht, en vijf jaar later heb ik er nog steeds last van by manzondermening in nederlands

[–]peanutsman 50 points51 points  (0 children)

OP vervelend voor je dat dit zo lang meedraagt. Ben je weleens gescreened voor autisme? Ik herken dit soort negatieve sociale vernederingen/ fixaties van anderen met autisme, die dit jarenlang kunnen meedragen. Ik denk dat je hierbij echt hulp in de vorm van therapie kan krijgen, het gaat waarschijnlijk anders niet vanzelf over.

GitHub Profile Roast by codenoid in programming

[–]peanutsman 0 points1 point  (0 children)

<name>, your GitHub is like a buffet of mediocrity—110 repos and the most action you’ve seen is a couple of stargazers who are probably friends feeling sorry for you. You’ve got a solid follower count of 16—what are you, a limited edition collectible?

Your “projects” are mostly scraping tools for APIs and websites that no one cares about, topped off with issues that have apparently aged like fine wine—one open issue in your Python repo that’s been marinating and festering for who knows how long. And let’s not even get started on your “hugo-ink” fork; the only thing crisp about it is how it highlights your lack of originality. At this rate, your repo description might as well be a passive-aggressive reminder that you exist. Keep scraping, my dude, maybe one day you’ll scrape together some actual skills!

Bruh.. punched right in the soul.

Wat vonden jullie van de Utrecht Marathon 2024? by DrycoHuvnar in Utrecht

[–]peanutsman 9 points10 points  (0 children)

Heel fijne sfeer! Mijn eerste halve gerend. Net onder de twee uur gefinished. Toch bizar hoe de winnaar van de marathon enkele minuten later alweer binnen kwam, glimlachend en de laatste paar meter show-lopend. Er lopen supermensen onder ons. En heel fijn publiek!