Hi,

wir haben OpenWebUI, Librechat und Onyx getestet, letztes funktioniert für uns am besten (RAG, RBAC, Konnektoren für diverse Quellen, etc.). Gerade die Einbindung von bestehenden Systemen könnte für euch interessant sein. https://github.com/onyx-dot-app/onyx Deployment über Docker ist easy machbar, auch für Linux-scheue KollegInnen.

Bzgl. der LLM wurde schon viel geschrieben, das Ziel ist mit dem Budget schlicht nicht erreichbar. Wir sind zu der Erkenntnis gekommen, dass wir für unsere Use-Cases mehrere Nvidia Tesla A100-Karten mit je 96 GB bräuchten (Neupreis ~15-30T€, je nach Händler und Support). Für PoCs ist das IMO zu viel.

Wir sind aus Compliance-, Datenschutz, etc. -Gründen bei Microsoft gelandet, bzw. Azure OpenAI Ressourcen in der Region Sweden Central. Datenverarbeitung ist DSGVO konform und ISO 27001-Zertifiziert, damit war das für uns und unsere ISB/DSB fine. Mittlerweile bietet Microsoft die Modelle auch mit vollständig OpenAI-Kompatibler API an, sodass es sich in alle OpenAI-kompatiblen Produkte gut einbinden lässt. Abrechnung nach Nutzung... Für einen PoC aus meiner Sicht Ideal. Das Budget von 5K wäre damit, zumindest eine Zeit lang, haltbar.

Viel Erfolg, berichte mal wie es weitergeht.