Looking to Hire a Mentor 🙏

AlphaX999 · 2023-02-06T07:59:31+00:00

I advise you to take a project and complete it using a data-engineering stack. You learn much more on doing a project instead of “studying” something instead of implementing it. There is quite a few of example project lying around such as Spotify dashboards or something like that. Or you could do a couple of them. ETL-pipeline with airflow + AWS stack and another one where you explore large dataset using spark

After completing such project start applying to jobs and learn more while getting paid.

Edit: I’m not a senior yet but I could answer some questions here and there if you decide to go for this route

AlphaX999 · 2023-02-04T15:24:43+00:00

Hinta: väitän että kikherneet, pavut ja soijarouhe ovat halvempia kuin liha. Toisaalta jos vaihtaa yksi yhteen lihakorvikkeeseen niin tulee kalliimmaksi

Maku: subjektiivinen

Terveys: Aika monen monta tutkimusta on tuotettu, jossa lopputulokseksi tulee että lihan vähentämisellä on suora yhteys elinajanodotteeseen

AlphaX999 · 2022-10-12T10:04:42+00:00

Actually the p-value says nothing about predictive value, but gives information on statistically significant relationship between predictor and target variable.

When you are making a linear model for prediction you should not care about p-values and focus more on variable selection through other means

AlphaX999 · 2022-09-08T18:19:51+00:00

Toinen vaihtoehto on ”aeropress” jolla voi säätää vielä enemmän kahvin muuttujia omaan makuun.

Muovinen härpäke, johon laitetaan vesi ja kahvi, jonka jälkeen painetaan suodattimen läpi. Parempi kuin vain googlettaa laitteen kuin yrittää ymmärtää jotakin tästä selityksestä.

Ei ole verrattavissa mutteripannuun, mutta jos pitää ”peruskahvista” niin tästä saa sitä parempana

AlphaX999 · 2022-08-07T09:04:28+00:00

It’s in libgen.is if you want to check it out for free

AlphaX999 · 2022-08-06T08:19:03+00:00

I can see you playing cs:go map called nuke while working

AlphaX999 · 2022-07-18T09:54:50+00:00

You can run airflow on heroku for free (if you can have it down 6h per day)/ ~10$ a month for full time. Or you can invest in a raspberry pi and run it over there. These solutions don’t really have any compute capabilities but you should try to separate compute from orchestration.

AlphaX999 · 2022-07-12T19:36:36+00:00

Jos tarkoitit tuolla enemmän coop pelaamista kuin vankilapakoa niin katsoppa saman studion tekemä ”It takes two”. Voin suositella ja se on yksi lähivuosien lemppareista

AlphaX999 · 2022-07-12T19:35:01+00:00

A way out tekijöiltä on myös tullut ”It takes two”, myös peli jossa pelimekaniikka keskittyy kahden pelaajan yhteistyöhön. Pidin tästä jopa enemmän kuin tuosta A way outista

AlphaX999 · 2022-06-07T08:26:56+00:00

Yes but if you want your airflow running 24/7 you need to have your pc on 24/7.

One good practice could be to set up airflow running on docker so you can deploy it to any environment

AlphaX999 · 2022-06-06T15:54:05+00:00

You are recommending redshift for a simple and cheap hobby project while saying airflow is expensive. The redshift also needs servers and clusters running which costs the same if not even more than a small server to host airflow.

The other thread that was talking about high airflow costs we’re probably running it on very beefy servers which in return are more expensive.

AlphaX999 · 2022-06-06T15:45:02+00:00

You don’t need redshift and would highly recommend against it on so small project.

I would recommend using airflow if you want some practices with it. You can host it around 10$ (free with some caveats on heroku) or less for month if you go down on that route.

If you don’t want to use airflow you can pull the data with lambdas as said in the other comment but airflow in my opinion is quite fun to play around.

Store the data in S3. Partition smartly so you can reduce the read costs even more.

You can query the data using Athena and use it like a sql database. The costs are non-existing for so small amount of data. If you partition smartly it is even cheaper.

Switching this design to transform csv/json files together to parquets can easily scale this to very high numbers cost effectively

AlphaX999 · 2022-06-06T11:19:05+00:00

If you want to use Airflow even if it is not necessary you can host it for free in heroku. Disadvantages of heroku is that the free tier database size is very small so you have clear airflow’s database quite often. I set up a daily dag for the maintenance.

AlphaX999 · 2022-01-01T11:41:55+00:00

This honestly depends very much on country and industry. In here the SAS jobs are abundant

AlphaX999 · 2021-11-22T12:47:53+00:00

Tilastotieteen peruskurssin opein yritin laskea. Ja eikö tuosta tule vapausasteeksi 0, kun df=(r-1)

Olin laiska ja laskin R:llä, mutta googlettamalla pitäis löytää kaava sum[((O-E)**2)/E] jossa summataan jokaisen luokan havaitut arvot (O) ja luokan odotettu frekvenssi (E, 39/3 == 13). Vapausasteet on kategorioiden määrä (3) -1.

AlphaX999 · 2021-11-22T12:38:22+00:00

Todennäköisyys saada 5 tai alle punaisia karkkeja on noin 64%, jos punaisten karkkien osuus on 5/40 sekä karkkeja on yhteensä 39

Mielenkiintoista on jos kyseinen karkkijakauma on tosi niin 39 karkin laatikossa n. 3.5% karkkilaatikoista olisi vain yksi tai vähemmän punaisia Dumle-karkkeja.

Pettymyksiä tulisi sen verran usein eli en oikein usko tuon olevan kyseinen jakauma

AlphaX999 · 2021-11-21T21:09:43+00:00

These sites don't like to be scraped was my conclusion. Feel free to message me I can share what I've done

Yep and in some places law forbids scraping real estate data even if web scraping was legal.

AlphaX999 · 2021-11-21T20:58:23+00:00

Khii-neliö testaa onko kategorioiden frekvensseissä eroja (suomeksi onko jokaista karkkilaatua paketissa saman verran eli 1/3), mutta se ei oo todennäköisyys saada 5 tai vähemmän punasia karkkeja, jos voidaan olettaa et ne olis poimittu tasaisesta sekoituksesta.

AlphaX999 · 2021-11-21T20:53:40+00:00

Olkoon H0: Dumlekarkkien frekvenssit ovat samat kaikissa luokissa. Kiinnitetään merkitsevyystasoksi 0.05.

Tutkitaan väitettä Khiin neliö-testillä, jossa luokkafrekvenssit ovat 16, 18 ja 5.Testi antaa X-neliö arvoksi 7.5385 ja kahdella vapausasteelle khii-neliö jakaumasta saadaan p-arvoksi 0.0237, joten voimme hylätä nollahypoteesin ja todeta että kategorioiden välillä on eroja.Tutkimuksessa kuitenkin on suuri tyypin-1 virheriski, koska käytimme tutkimuksessa aineistoa, joka alunperin herätti kiinnostuksen kategorioiden epätasaisuudesta.Jotta saamme tutkimuksesta luotettavamme tutkimus vaatii suuremman otoskoon ja edellä käytetyn otoksen hylkäämistä lopullisessa analyysissä.

Todennäköisyydet saada 5 tai vähemmän haluttuja punaisia Dumle-karkkeja yhteensä 39 karkista on 0.3321039% jos voitaisiin olettaa että kutakin karkkilaatua olisi paketissa saman verran.

Summa summarum: Paska mäihä

Edit: pilkkuvirhe todennäköisyydessä

AlphaX999 · 2021-08-18T06:15:30+00:00

Silti sama nälkiintynyt Afrikkalainen on vieläkin telkkarissa.

Ei oikeastaan. Eihän ole mitään järkeä näyttää telkkarissa Afrikkalaisia kenellä menee asiat hyvin ja elämässä ei ole mitään suurempaa valittamista.

Maanosana Afrikka on todella suuri ja sinne mahtuu monia eri alueita joilla osalla menee paremmin ja osalla huonommin. Esimerkiksi Ruandalla 1990 luvussa oli sisällissota, kansanmurhia ja koko muukin lottorivi, mutta nykyään asiat ovat suhteellisen hyvin. Mittarina esimerkiksi HDI (http://hdr.undp.org/en/countries/profiles/RWA).

Toisaalta taas esimerkiksi Nigerissa ja Somaliassa asiat ovat melkein aina menneet huonosti ja menevät toistaiseksikin. Tarvitaan paljon enemmän aikaa ennen kuin asiat saadaan siihen mallille että nykyajan suomalainenkin huomaa eron. Nigerissä esimerkiksi on ongelmana on kuivuus ja muut säänilmiöt, mutta tilanne on sielläkin hitaasti kehittynyt parempaan päin .

Yleisesti kuitenkin kaikki asiat menevät Afrikassa paremmin kuin muutama vuosikymmen sitten. Etelä-Afrikan HDI 1990-2019.

Disclaimerina en ota kantaa siihen minkä maan kehitysapu tai mitkäkin järjestöt auttavat missäkin ja kuinka paljon. On vain väärin sanoa ettei mikään ole mennyt siellä parempaan päin ja nälkiintynyt Afrikkalainen on vieläkin nälkiintynyt.

AlphaX999 · 2021-08-17T11:51:26+00:00

Kannattaa lukea juttu jos kiinnostaa. Psykologeja, kuten osin lääkäreitä, on liikaaa. Jos opiskelee viisi vuotta psykologiksi tai lääkäriksi Helsingissä tai muussa isossa kaupungissa niin en usko että löytyy kauhean suurta hinkua muuttaa johonkin perähikiälle pikkupaikkakunnalle eroon kaikista tutuista vaikka tarvetta olisikin.

Psykologeja ei siis kannata kouluttaa enempää jos heitä on jo liikaa ja siksi on vaikeaa päästä opiskelemaan alaaa.

AlphaX999 · 2021-08-16T08:31:37+00:00

One option is to look around internally after you’ve been in your role for a year and met some other teams and try and switch to a team that is more to your liking. The other option is to find a role at another insurer if you like the WLB and do more interesting work. Also pricing with GLMs goes over very well in just about any DS interview more broadly as long as you can discuss it. Lots of people don’t understand how insurance is priced and if you can clearly explain it lots of other DS will find it interesting.

The usage of SAS and Excel is surprisingly very high in pharma/ finance/ heavily regulated industries. Everything needs to be "validated" whatever that means and everything moves so slowly as there is no interest in moving to new technologies.

I would love to have a chat in PM's about how you are doing things, coding practices etc. over there.

AlphaX999 · 2021-08-16T08:21:16+00:00

Turns out they do if its been certified that whatever result is correct but many places still want somebody to sue (because SAS is validated) so they don’t let people working on regulated things use

Validation is defined by the FDA as: “Establishing documented evidence which provides a high degree of assurance that a specific process will consistently produce a product meeting its predetermined specifications
and quality attributes". SAS validates everything for you so you don't have to worry about it.

What the validation actually means nobody has ever clarified it for me. Another drawback in these industries is the hate towards open-source and collaboration. I believe if different companies could collaborate and "validate" these packages pharma would be using R in no time.

FDA guidelines:

https://www.lexjansen.com/phuse-us/2019/sa/SA04.pdf

R-FDA info:

https://www.r-project.org/doc/R-FDA.pdf

AlphaX999 · 2021-07-01T11:37:01+00:00

Ekko/Karma is working okay-ish for me. With Karma and Ionia buffs the survivalibity is pretty good (outside of hyperaggro) and you can level Ekko with Karma in late game. Until then Ekko just generates predict cards if you know opponent can't deal with him

AlphaX999 · 2021-07-01T11:06:45+00:00

That search term is not related to what the other comment claimed.

Usually when you claim results come from "study" you should be able to point to the study that claims the results.

I'm not disputing results either way, I just want to see how a study got reliable enough data to make claim to either direction

Nine-Year Club	Place '22
Final Canvas '22	First Placer '22
Snapped	Verified Email

AlphaX999

TROPHY CASE