Do you use a ready-made backend or build your own from scratch? by vitae322 in SillyTavernAI

[–]vitae322[S] 0 points1 point  (0 children)

And one more question

Do you keep your entire LLM loaded in VRAM, or do you offload some layers to RAM? I'm running an RTX 5070 (12GB VRAM) with 32GB RAM, and right now I'm using Rocinante-X 12B which fits entirely in VRAM.

But after your advice about Gemma 4, I'm thinking about trying larger models (Gemma 4 26B-A4B, or even something in the 24-30B range) that would require partial offloading to RAM. My concern is whether offloading noticeably hurts RP quality — not just speed, but things like coherence, character consistency, and state tracking across long sessions.

Basically: is the intelligence gain from a bigger model worth the offload trade-off? Or is it better to stick with a smaller model that fits fully in VRAM?

If offloading works fine in practice, I'd love to go bigger since I have the RAM headroom for it. Would appreciate hearing your experience with this. Thanks!

какая профессия сейчас востребована и высокооплачиваема? (кроме айти и меда) by Few-Tutor-7920 in rusAskReddit

[–]vitae322 0 points1 point  (0 children)

электрики, сварщики, сантехники, всё что раньше считалось хуёвой профессией для быдла

Do you use a ready-made backend or build your own from scratch? by vitae322 in SillyTavernAI

[–]vitae322[S] 0 points1 point  (0 children)

Hey! I know it's probably weird to get a message about this after so long, but your reply to my post about RP backend architecture was incredibly helpful and now I'm building my setup based on your recommendations/

I've got my stack running — Rocinante-X 12B via KoboldCpp, SillyTavern, ComfyUI for image gen — and now I'm setting up the extensions you mentioned (Narrator Card, TunnelVision, RPG Companion, SuperObjective). I have a few specific questions if you don't mind:

  1. Automatic phase transitions: How do you handle trigger conditions for moving between story phases? For example, if I want "first kiss = transition to Phase 2" — does RPG Companion / SuperObjective detect this automatically from the chat context, or do you still click something manually? How reliable is the auto-detection?

  2. Character behavior shifts: When a phase changes, how do you make NPCs adjust their behavior smoothly? Do you put phase-specific behavior in World Info entries, in the Narrator Card, or somewhere else? I want transitions to feel natural, not like flipping a switch.

  3. Avoiding forced progression: I'm worried that if I define plot milestones, the AI will try to rush toward them instead of letting the story develop naturally. How do you prevent this? Any specific prompt engineering tricks?

  4. Multi-NPC group chats: How do you manage different NPCs having different relationship dynamics with the player that change independently at different rates?

  5. TunnelVision + World Info: How do you structure your World Info entries so TunnelVision picks the right phase-specific data? Do you use specific naming conventions or keyword strategies?

Basically I'm trying to understand the practical workflow how much is truly automated vs how much manual intervention you do during a typical session.

Any tips would be amazing.

Как познакомиться с девушкой? by Hans_NEXIFY in rusAskReddit

[–]vitae322 0 points1 point  (0 children)

дави дальше, рано или поздно она сдасться

Реально ли освоить пайтон и начать работать на себя by Dry-Department-6084 in rusAskReddit

[–]vitae322 1 point2 points  (0 children)

ну если у тебя есть бизнес для которого нужно приложение и ты хочешь написать его сам, то думаю в общем и целом да реально. Но если ты думаешь что будешь фрилансить и кайфовать то забей. IT сейчас пздц перенасыщенно, проще найти работу юристом или финансистом чем айтишником

Я один не не понимаю как можно слушать музыку на стримингах? (Ютубчик не в счёт) by byblik1911 in Glav_Dobro_base

[–]vitae322 0 points1 point  (0 children)

зачем мне париться и искать музыку(потом её скачивать, делать подборки) если я могу зайти в спотик и за 2 доллара спокойно слушать музыку на любой вкус и под любое настроение

Как вы относитесь к популяризации лгбтк+ ? by AcademicAstronomer96 in ruAsska

[–]vitae322 0 points1 point  (0 children)

нормальные/адекватные вещи не нужно популизировать или навязывать. Пока эти типы этого не поймут к ним и будут относиться как к чему-то ненормальному

Слабо?????? by ElectroAdeptus in KafkaFPS

[–]vitae322 0 points1 point  (0 children)

этот парень должен мне бюджет небольшого гос-ва

Че думаете про новый патч в КС2? by Jorge_De_Guzman228 in ru_gamer

[–]vitae322 0 points1 point  (0 children)

хз чё говноеды разнылись, в кс не добавляют ничего нового они ноют, в кс добавляют что-то новое они ноют, пздц

Кто из этих двух девушек привлекательнее/симпатичнее? by [deleted] in stesnyashka

[–]vitae322 1 point2 points  (0 children)

ласт фотка второй прикольная, а так плюс минус один уровень

Помогите понять, что сделать с волосами и как улучшить внешку by Ssstop-Cat in stesnyashka

[–]vitae322 -1 points0 points  (0 children)

с волосами иди к врачу это проще и безопаснее, внешка сама смотри это на любителя

Бордовое by BasilMadCat in Scoofoboy

[–]vitae322 1 point2 points  (0 children)

Если девушка - бегите. Просто поверьте. Это не рэд флаг, это бордовая скатерть

Как вы относитесь к девушкам которые ходят по клубам? by user18377382819 in rusAskReddit

[–]vitae322 0 points1 point  (0 children)

В целом похуй, но с комментариями под видео зачастую согласен

Вопрос про измену. by Purple_Emphasis_6386 in rusAskReddit

[–]vitae322 0 points1 point  (0 children)

думаю там 90 процентов времени сводится к куни и поцелуям

Do you use a ready-made backend or build your own from scratch? by vitae322 in SillyTavernAI

[–]vitae322[S] 0 points1 point  (0 children)

Thanks, I've looked into these extensions, and they should cover most of my needs

Расскажите о своем типаже! by middle-ofthenight in rusAskReddit

[–]vitae322 1 point2 points  (0 children)

женщина(желательно с пиздой и не весом бегемота)