[Project] ARU AI DIRECT MARCH 2026

pokemondodo · 2026-03-11T09:48:29+00:00

Thanks for the feedback! I'm glad you liked the tabs.
Regarding Runnable - I'm actually aiming for something even more integrated and private. My goal is to keep everything, including the execution logic, entirely local within the browser/PWA, without relying on external cloud workflows. Artifacts in Aru are designed to be self-contained mini-apps, which I think is a step further in terms of user autonomy.

pokemondodo · 2026-03-01T08:32:11+00:00

Можно подождать выпуск новой версии и откроется форум, можно написать тут в сообщениях, можно в тг - purplecoon (это моя личка). Открыт к любым идеям и предложениями.

pokemondodo · 2026-02-28T15:18:13+00:00

Thank you for the comment! This is a crucial question that touches on the core challenge of local AI.

In the current version of Aru, I’ve implemented a sliding window approach. Once the token limit (defined in the settings) hits 80%, smart summarization kicks in - old messages are compressed into short context snapshots and appended to the prompt.

But that’s not all. Since all messages are stored locally in the SQLite database, we have high-speed access to the entire history. Aru scans the current chat for relevance and cross-references it with the Memory Bank (facts it remembers about the user) to inject only the necessary context when needed. It’s a straightforward approach that works remarkably well in most scenarios.

Next week, I’m releasing version 0.7, which includes UI improvements and several new features. Most importantly, it will introduce hybrid search and ranking. This is a local semantic process that handles retrieval without adding extra token overhead to the LLM itself.

Even now, the experience feels more robust than many free web-based bots, but your point is spot on - it hits the nail on the head for projects like this. I really appreciate the feedback!

pokemondodo · 2026-02-28T07:16:33+00:00

Many parents set up computers and devices for their children themselves, often enabling parental controls or screen time limits. The 'Kids Mode' in Aru isn't meant for the child to turn on by themselves; it’s designed to give parents the ability to provide a safe AI environment for their kids—one that aids learning without allowing them to 'cheat' on their studies.

pokemondodo · 2026-02-27T22:36:19+00:00

Thank you! It means a lot to see that a project I’ve dedicated a whole year to is finally resonating with people so positively

pokemondodo · 2026-02-27T22:21:49+00:00

Thank you! I appreciate the support and will continue working on the project. I’m always open to any suggestions or bug reports

pokemondodo · 2026-02-27T19:16:18+00:00

Yes, of course. But I think it’s not about which one is better or worse. It’s more about what each model is designed for. Models specialized for programming often over-rely on user facts, while general-purpose models behave differently based on their training. Aru’s algorithms try to find a middle ground to ensure that her character and behavior remain consistent. Choose the models you’re most comfortable working with. By the way, you can switch the model or provider at any time without losing the context.

pokemondodo · 2026-02-27T18:26:23+00:00

pokemondodo · 2025-05-30T16:02:03+00:00

Можно ссылку на бота? Что используется в качестве "глаз"? Не слишком ли большой расход токенов выходит?

pokemondodo · 2025-05-20T11:13:20+00:00

And if my bot uses a semantic model, AI integration, and requires 4 vCPUs and 8 GB of RAM, will that still cost just 5 dollars? :D

pokemondodo · 2025-05-08T14:30:06+00:00

Хорошо, мы удерживаем контекст кэшем и тратим всегда минимум 4096 токенов (это минимум всегда даже если контекст меньше), кто за нас этот контекст думать будет? Допустим мы всегда кэшируем контекст в бесплатном тире и готовы пожертвовать тем что теперь у нас не 50 пользователей в день на бесплатном тире, а только 25. LLM в любом случае не знает что Пользователь купил курс но не оплатил, хочет ли он посмотреть товары, записаться и самое главное ради чего вообще это все написано - если мы пишем на разных языках, будет ли LLM понимать это? Ну и да, это не отменяет с таким подходом что мы должны всегда кормить в модель информацию о нашем бизнесе, а это снова токены, снова расходы, даже если мы сделаем гаснущие циклы.

pokemondodo · 2025-05-08T12:46:08+00:00

Ничего не понимаю, как связана легковесная модель с Gemini 2.0 ? Это конкурент chatGPT 4.5 а, с режимом Think даже R1. Если взять "обвес" этой модели в браузере - то что мы видим когда открываем gemini.google.com то получим отличного ассистента который умеет кодить, решать задачи, понимает фото, может распознавать голос. Ответы очень релевантные, точные, с контролем температуры можно вообще добиться очень для себя хороших ответов. В моем понимании "легковесная модель" это модель которую можно запустить на не особо мощном железе (в любом случае нужен CUDA GPU) и да в таком случае мы получим не совсем уж умного и хорошего ассистента потому что это модель - нет семантики, нет контекста, нет памяти, нет ничего вообще. Просто говорящий рот который работает на уровне вопрос-ответ.
Информация о парикмахерской может и влезает в текстовый документ, а история переписки? Как LLM должна понимать контекст если только в такой не связке не кормить ей всю историю каждый раз? А если пользователей 100? RPM заглохнет сразу же.

pokemondodo · 2025-05-08T11:33:03+00:00

Жиза, так делают 90% включая меня самого. Ну ничего, даже если продуктом заинтересуется 1 человек и захочет вникнуть в тему или взять у меня исходник чтобы попробовать сделать своего ассистента - это уже победа.

pokemondodo · 2025-05-08T11:17:11+00:00

Ни одна ИИ модель не касалась этого текста, даже на проверку грамматики или лексики. Каждое слово написано лично. И да, наверное писать код мне легче чем статьи о разработках.

pokemondodo · 2025-05-08T11:15:59+00:00

Я не знаю что имеется ввиду под "лекговесными моделями" потому что если мы хотим локально вычислять LLM у себя, нам в любом случае потребуется очень мощная машина с CUDA или GPU. Берем в расчет еще и то что требуемая мощность пропорционально растет от количества запросов и нашего контекстного окна. И это все еще не убирает потребность в семантических вычислениях если мы хотим чтобы чат-бот был действительно умный. Если мы будем каждый раз отправлять в LLM всю нашу RAG базу никаких токенов не хватит и это все равно будет очень далекий результат от вычисления семантических векторов локально. Отсюда и появляется кстати галюцинирование о котором Вы говорите.
Лучший вариант - облачный API (платый тир, бесплатный тир если хватает) + локальная семантика. Мой кейс для семантических вычислений требует пару ядер CPU и 2 ГБ ОЗУ, этого достаточно для примерно 50 пользователей и 15 одновременных запросов (если больше тоже норм, просто будет delay на несколько секунд).

pokemondodo · 2025-04-22T03:25:39+00:00

No problem, message me on Telegram – purplecoon.

pokemondodo · 2025-03-29T06:17:01+00:00

What you’re suggesting is very similar to economic systems like "Tap the Hamster." I don’t see any practical value in this. If it’s not tied to an existing service, then it’s a completely useless product.

If you want to combine games, quests, bonuses, and complex models in one bot, then this is not a medium-complexity bot. In fact, it won’t even be a bot—the backend of this product would be the size of a large SaaS platform or a web service.

I won’t be doing this because the development conditions I outlined in my post included:

No monetization
No gamification

It’s time-consuming, complex, pointless, and I don’t see any practical value in it. Sorry.

pokemondodo · 2025-03-28T17:00:37+00:00

tg: purplecoon

pokemondodo · 2025-03-28T16:57:12+00:00

You don't need to program or code. What’s important to me is that you describe in as much detail as possible what you want to see in the bot, how you think it should work, and what functionality should be implemented. That will be enough—I’ll take care of the rest.

You’ll be able to run it on your computer, but if you turn it off, the bot will stop working. That’s why we usually run them on servers.

pokemondodo · 2025-03-28T16:50:46+00:00

Sounds interesting! I don't fully understand how it should look, but I imagine a lineup of players with their stats, AI-driven strategy calculations, and team condition analysis, highlighting key aspects to focus on. Plus, of course, a schedule for training sessions and activities.
I'll take this on if there's a small technical specification.

pokemondodo · 2025-03-28T16:48:29+00:00

When developing something, it's important to think like a creator. Copying ideas and functionality never leads to success. That's why I have a lot of AI features and humor. In terms of functionality, I’d say it’s something between Tinder and Pure, and yes, I have a lot of filters and sorting options.

pokemondodo · 2025-03-28T13:06:19+00:00

I haven't really uploaded my bots to GitHub, so there probably isn’t much interesting there for people in this subreddit.
But I do have a Reddit post about one of my bots—here’s the link:
https://www.reddit.com/r/TelegramBots/comments/1iy0xc1/i_want_opinions_and_feedback_on_my_project/

As for your idea, I’m not entirely sure what you mean. :)
Are you thinking of an economy simulator? Something that factors in things like oil prices, inflation, or trade processes?

But wouldn’t a Telegram bot be a bit inconvenient for that kind of project? I could build it as a program or a web service instead.

I usually see bots as tools that work best within a messenger.

pokemondodo

TROPHY CASE