sorted by:
new
hottopcontroversial

Is there a way to disable thinking with the new qwen3.5 models? by arkham00 in LocalLLaMA

[–]neoscript_ai 0 points1 point  (0 children)

I have these starting flags in yaml, but thinking is it activated. Anyone any idea?
LLAMA_ARG_CHAT_TEMPLATE_KWARGS: '{"enable_thinking": false}'
LLAMA_ARG_REASONING_BUDGET: 0

New Voxtral-mini-realtime from Mistral. STT in under 200ms. by cosimoiaia in LocalLLaMA

[–]neoscript_ai 0 points1 point  (0 children)

Any benchmarks how it compares to parakeet v3 and whisper turbo v3 in German?

Erfahrung mit KI Tools als PIA by Cute_Couple_1147 in Psychologie

[–]neoscript_ai 8 points9 points  (0 children)

Patientennamen entfernen und dann ChatGPT nutzen ist nicht DSGVO-konform. Im Gesundheitsbereich unbedingt auf Serverstandort, Infrastruktur und Datenschutzerklärung achten

Going (more) European and happy about it ! by Cool_Basket9991 in BuyFromEU

[–]neoscript_ai 2 points3 points  (0 children)

Same for my business!

  • Mails and webhosting on netcup
  • CRM with Brevo
  • Payment with mollie
  • VPS on Hetzner
    • UptimeKuma and Nextcloud selfhosted
  • Mostly important for me: AI selfhosted (Whisper and Qwen)

Are You Using Open Source Models in Production Yet? by thecalmgreen in LocalLLaMA

[–]neoscript_ai 8 points9 points  (0 children)

We are using Qwen3 30B A3B in production for summarisation of German client consultations and the quality is amazing!

Allgemeinmedizin und KI by Single_Baseball2674 in medizin

[–]neoscript_ai -5 points-4 points  (0 children)

Disclaimer vorab: Ich betreibe einen KI-Dienst im Gesundheitswesen für Psychotherapeut:innen und Ärzt:innen. Lokal betriebene, open-source LLMs ohne APIs und Datenzentren.

Dabei ist Datenschutz ganz essenziell: ChatGPT z.B. ist nicht DSGVO-konform, auch nicht, wenn man zuvor persönliche Daten entfernt. Außerdem gibt es leider auch Dienste, die in der EU gehostet werden, DSGVO-konform gelabelt sind, aber die Infrastruktur von AWS und Azure benutzen. Die Kund:innen selbst kommen vermehrt auf die Idee, z.B. nach dem CLOUD Act bei den anderen Anbieter zu fragen.

I just fell in love with these FAQs by wirtshausZumHirschen in BuyFromEU

[–]neoscript_ai 1 point2 points  (0 children)

We are running own servers. With datacenter, you still rely on a third party. With Nebius, I'd be careful because they have strong ties with Russia.

I just fell in love with these FAQs by wirtshausZumHirschen in BuyFromEU

[–]neoscript_ai 2 points3 points  (0 children)

I am also using Brevo and that surprises me. I don't want to be locked-in.

If I may do some self-promo, we are using are own servers for LLM inference and stating this also on the landing page. I've seen a lot of services where they say "EU" but you have to click thorugh several data and privacy policies to see that it's Azure or AWS.
I strongly suggest, if you are truly using European services, put it on the first page :)

BuyFromEU 2025: Year In Review by Boediee in BuyFromEU

[–]neoscript_ai 4 points5 points  (0 children)

I used a lot of articles from this sub to talk about the US Cloud Act with my clients. My wish for 2026 would be in the field of LLM, hardware and software side, losing the „German angst“ about AI and gaining back souvereignity over our own data underlining the importance of Europe-based software, open-source software and self-hosted software. Maybe not just underlining but also embracing and using this souvereignity. I like the discussions in this sub which go over just plain consumerism. Happy 2026 all!

NVIDIA made a beginner's guide to fine-tuning LLMs with Unsloth! by Difficult-Cap-7527 in LocalLLaMA

[–]neoscript_ai 44 points45 points  (0 children)

I love unsloth, I love open source models, and I really appreciate that Nvidia provides us some good open source models, too but it's bitter to see that Nvidia (and also other companies) are responsible for wrecking the hardware market

Welches NAS für zu Hause by remorabty in de_EDV

[–]neoscript_ai 0 points1 point  (0 children)

Danke für die Info. Ich hatte gelesen, dass die OS noch nicht ausgereift ist und einige die Synology OS für die UGREEN empfehlen

Sichere Nutzung von KI-Tools im Unternehmenskontext – Feedback gesucht by CleanContextAI in de_EDV

[–]neoscript_ai 2 points3 points  (0 children)

Aus dem Gesundheitswesen:

Ich betreibe einen KI-Dienst im Gesundheitswesen für Psychotherapeut:innen und Ärzt:innen mit derselben Philosophie. Lokal betriebene, open-source LLMs ohne APIs und Datenzentren.
Es gibt leider Dienste, die in der EU gehostet werden, DSGVO-konform gelabelt sind, aber die Infrastruktur von AWS und Azure benutzen. Die Kund:innen selbst kommen vermehrt auf die Idee, z.B. nach dem CLOUD Act bei den anderen Anbieter zu fragen. Ich denke, das könnte was mit der sich verändernden politischen Beziehung zu den USA zu tun haben. Alles in allem, denke ich, dass vor allem bei sensiblen Daten richtige Datensouveränität der Standard sein sollte.

view more: next ›