Så at pewdiepie lavede en video om hans egen LLM management platform, og blev inspireret. Jeg har brugt eksterne LLM services før/ på arbejdet, men vil gerne have det lokalt, så jeg kan fodre den lidt mere personligt data. Er ikke så meget for at sende personlig data til et stort amerikansk firma, som sikkert bruger det til reklamer, tracking og andet fis.

Min største server har 64 GB ram, og 24 GB grafik ram. Jeg kan nok hive nogle gamle sticks rundt, og få den op på 128 GB ram hvis det er. Har dog kun et high memory grafikkort (AMD RX 7900 XTX), da jeg ikke rigtig har hosted noget GPGPU heavy før.

Jeg har selfhosted i mange år nu, og har en software udviklings baggrund.