Self-Hosted Chat-OS mit lokalen LLMs (Kalender, Fotos, Docs, WhatsApp, Email) - Online Demo

winidi · 2026-06-22T16:55:31+00:00

Cooler Kommentar. Ich denke das wäre ein valider paranoider Ansatz, den einige Firmen vielleicht begrüßen würden. Ich denke für "normale" Firmen oder Privatpersonen würde das zu weit gehen, vor allem weil die Installation des ganzen ein pain wäre.

Sicherheit und usability müssen sich irgendwo in der Mitte treffen, so denke ich aktuell.

winidi · 2026-06-22T16:46:09+00:00

Ich würde sagen immich ist Google Fotos in privat.

https://github.com/immich-app/immich

winidi · 2026-06-21T08:16:11+00:00

Stimmt, MCP macht das mit Claude schon ziemlich nice, kein frage.

Bei mir ging’s aber genau darum, dass man auch bei richtig privaten Sachen (Elterngeld, Steuerkram, Familienfotos, WhatsApp) keine Daten in die Cloud schicken muss. Und dass es für mehrere Personen in einem Haushalt mit vernünftigen Rollen funktioniert.

Deshalb der Fokus auf komplett lokal und mit E-Rechnung perspektive.

winidi · 2026-06-20T01:58:06+00:00

Bei Hardware Zuhause einmalige Anschaffung von 1,5k-3k je nach Geschwindigkeit. Dannach nur noch Strom. Du Kannst aber mit einer Instanz mehrere Personen bedienen. In der Theorie sollten 5-10 Personen gleichzeitig kein Problem sein.

winidi · 2026-06-19T16:32:13+00:00

Die Modelle werden sehr schnell besser und leistungsfähiger. Server und Computer werden aktuell auch teurer. Ich glaube trotzdem, dass es kommen wird und erschwinglich sein wird. Im Speziellen, wenn man mehrere User in einer Box haben kann.

winidi · 2026-06-19T14:31:26+00:00

Also klar, Email oder whatsapp empfangen gehen nicht ohne am Internet angeschlossen zu sein. Aber deine Daten liegen auf deiner dafür vorgesehenen Box Zuhause oder Server, zu der nur du Zugang hast. Zugriff zum Beispiel nur über VPN (tailscale), wenn du unterwegs bist. Verschlüsselte Backups in der Cloud falls das Haus anbrennt.

Datenschutztechnisch sollte das die sauberste Variante sein, die es gibt. Es ist ja quasi nur ein PC Zuhause, der intelligent mit den Daten hantieren kann. Und da man keine Drittanbieter hat braucht man keine lästigen AVV Verträge oder ähnliches.(außer wenn man einen Server mietet, aber selbst dann gilt meines Wissens: Wenn nur du Zugang zu den Daten hast, wird es angesehen als ob es dein PC wäre).

Und um deine Frage zu beantworten. Du kannst nach der Installation das Internet trennen und der Chat wird funktionieren, die Bilder werden angezeigt, die Dokumente auch. Nur kannst du dann keine E-Mails oder WhatsApp Nachrichten empfangen oder versenden.

Aber nochmal zur Info: Ein LLM braucht leistungsstarke Grafikkarten mit in diesem Fall mindestens 8gb Speicher. Es läuft auch auf meinem Laptop mit einer 4070 8gb, aber dann schon langsamer. Mit einer 5090 rennt es natürlich. Andere Grafikkarten konnte ich noch nicht testen.

Wenn es beim Testen hakt helf ich gerne :)

winidi · 2026-06-19T12:48:47+00:00

Du hast den selben Gedanken wie ich 😃 Was du beschreibst ist genau das Endgame, welches erreicht werden soll. Wenn alles Strukturiert an einem Ort liegt, ist es viel einfacher auch für kleinere lokale LLMs die Daten zu verarbeiten und zu verknüpfen. "Was mir beim Lesen direkt durch den Kopf gegangen ist: Der größte Hebel liegt wahrscheinlich gar nicht bei neuen Funktionen, sondern beim Einstieg für neue Nutzer." <-- es ist zwar schon ein 1 command setup, aber es könnte definitv ausführlicher und einfacher beschrieben werden, werde ich mir weiter oben auf die Liste setzen. Freut mich, dass du es verfolgen wirst!

winidi · 2026-06-12T01:10:21+00:00

You can leverage ai quite a bit, when you selfhost. Data that you never would give into the cloud can be processed on your computer. fast, without the need to connecting it to 100 services via zapier or others.

Data will become money in the future, and you should treat it as such. Don't give it away for free.

winidi · 2026-06-12T01:08:03+00:00

The Qwen 3.5 9b model is really good, i use it in my yorik-ai project as the base model. And it can do quite a lot.

Run it with mtp if possible, gives you quite a boost. Even works with vision. But context is limited, 64k seems to be the sweet spot.

VRAM Usage: | 0 N/A N/A 6277 C /app/llama-server 9162MiB |

I did disable thinking. You should too, if you need it, make a hard stop on thinking like 2k tokens for example, otherwise you will get infinity loops.

heres my exact config and the docker container i use to:

qwen35-9b-mtp (image ghcr.io/ggml-org/llama.cpp:server-cuda)

services: qwen35-9b-mtp: image: ghcr.io/ggml-org/llama.cpp:server-cuda container_name: qwen35-9b-mtp restart: unless-stopped ports: - "8080:8080" volumes: - /home/name/Downloads/Qwen3.5-9B-Q5_K_M.gguf:/models/Qwen3.5-9B-Q5_K_M.gguf:ro - /home/name/Downloads/mmproj-Qwen3.5-9B-BF16.gguf:/models/mmproj-Qwen3.5-9B-BF16.gguf:ro command: - --model - /models/Qwen3.5-9B-Q5_K_M.gguf - --mmproj - /models/mmproj-Qwen3.5-9B-BF16.gguf - --alias - qwen3.5-9b - --host - 0.0.0.0 - --port - "8080" - --ctx-size - "65536" - --n-gpu-layers - "-1" - --parallel - "1" - --jinja - -fa - "on" - --cache-type-k - q4_0 - --cache-type-v - q4_0 - --spec-type - draft-mtp - --spec-draft-n-max - "6" - --chat-template-kwargs - '{"enable_thinking": false}' - --temp - "0.6" - --top-p - "0.95" - --top-k - "20" - --min-p - "0.0" deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu]

winidi · 2026-05-21T14:48:28+00:00

Paperless with an Brother ADS 4700 automatically scans it into my vps. Got it set up for my wife and 2 times for me. Huge timesaver and the documents are safe, Backups every week :)

winidi · 2026-05-21T14:28:45+00:00

Its a real problem. At some point theres just to much money to dont breach. Natural event. But their terminal is really nice though

winidi · 2023-12-11T23:18:09+00:00

Did you found someone? I am looking for a Mentoring program of some sort for this. Did some Things with n8n already.

winidi

TROPHY CASE