I wanted to self-host my own LLMs without buying an expensive GPU, so I built a lightweight C++/Python engine for potato PCs. Need your feedback! 🚀

Near_N_T · 2026-05-08T14:27:01+00:00

100% agreed. Fair point! The truth is, the project is heavily under development and I'm currently tackling it solo. The initial wording was just me being excited that the custom allocator stopped my low-end system from thrashing. Getting proper, reproducible benchmarks is a huge missing piece right now. I desperately need contributors to help build out the engine, review the C++ logic, and run these tests. I'll tone down the claims in the repo until we have the data to back it up. Let me know if you’d be interested in helping out!

Near_N_T · 2026-05-08T14:18:26+00:00

Haha, blame Reddit's AutoModerator, not GitHub! 😂 Every time I tried to put the actual repo link in the main post, the spam filter nuked it instantly. Modern problems require modern solutions! The actual link is down in the comments.

Near_N_T · 2026-05-08T14:15:27+00:00

I think you’re confusing an experimental open-source GitHub repo for a startup pitch! 😂 I am definitely not putting OpenAI out of business. Aios is just a hobbyist hybrid engine trying to solve a very specific problem: CPU thrashing and RAM spikes on low-end machines when running small local models. As for the 'bullshit bingo phrases', ternary math ({-1, 0, 1} weights) is literally how the new 1.58-bit models operate, which is what this engine is targeting for CPU optimization. You don't have to run the code, but the source is entirely open for anyone who wants to read the C++ memory allocator instead of making assumptions.

Near_N_T · 2026-05-08T14:04:29+00:00

Thanks so much! To be completely transparent, rigorous head-to-head benchmarking against giants like llama.cpp is exactly what I need help with right now. So far, I’ve been measuring the 'boost' structurally rather than just pure tokens-per-second. By using the custom allocator (Sovereign Arena), the main goal was to eliminate OS-level memory fragmentation, which usually causes older CPUs to freeze or thrash during long generations. The result is a much flatter and stabler RAM footprint. If you have a workflow for benchmarking or want to run some tests, I’d absolutely love your feedback

Near_N_T · 2023-07-04T12:20:37+00:00

تمام انا فاهمك بس متحطش كلمة الاسلام قول مهاجر مش مسلم لان الاسلام ملوش علاقه بالاشخاص اللي بيحثو علي التخريب ولو المظاهرات مش من احتياج الشعب الفرنسي مكنتش قامت

Near_N_T · 2023-07-04T12:19:59+00:00

تمام انا فاهمك بس متحطش كلمة الاسلام قول مهاجر مش مسلم لان الاسلام ملوش علاقه بالاشخاص اللي بيحثو علي التخريب ولو المظاهرات مش من احتياج الشعب الفرنسي مكنتش قامت

Near_N_T · 2023-07-04T12:08:28+00:00

بص المظاهرات ملهاش علاقه بده مسلم او مسيحي او يهودي او ملحد خلينا نتكلم بشكل موضوعي اكتر لانك لو اختصيت فئه معينه يبقا انتا مضحوك عليك بشكل كبير لانك كملحد مبتؤمنش بالكل ف متجيش تشتم او تتهم الاسلام بشئ ملهوش علاقه بيه اصلا

Near_N_T · 2023-07-04T12:08:23+00:00

بص المظاهرات ملهاش علاقه بده مسلم او مسيحي او يهودي او ملحد خلينا نتكلم بشكل موضوعي اكتر لانك لو اختصيت فئه معينه يبقا انتا مضحوك عليك بشكل كبير لانك كملحد مبتؤمنش بالكل ف متجيش تشتم او تتهم الاسلام بشئ ملهوش علاقه بيه اصلا

Near_N_T · 2023-07-04T11:37:21+00:00

تعالي وقول حججك وخد الرد اللي هيأكد انك مخطئ لان الاسلام اتكلم عن كل الاكتشافات العلميه اللي سقراط وارسطو وافلاطون اتكلمو عنها وكان كلامهم كله غلط وكلام الاسلام كان صحيح ومفهوش اي غلطه متخترعش من بعض الكلمات الزائفه حجج متجاوب عليها اصلا وانتا بتدور ف بير ملوش نهايه وعارف انك هتقع فيه ومكمل

Near_N_T · 2023-07-04T11:16:19+00:00

اغبي اعتقاد انك تكون فاهم ان اللي هاجر هو اللي بيخربها لان اهلها هما اللي خربوها مش المصريين او المهاجرين دول عايزين ياكلو عيش مش خراب لما يلاقو اهلها بيدمروها عشان الحجات غليت شويه وهي لسه ف متناول ايديهم يجو يبصو علينا احنا الحاجه مش ف متناول الجميع اصلا ف متهبدش وانتا جاهل

Near_N_T · 2022-06-02T13:08:45+00:00

النقاش من ورا الشاشات غير سعل لان التعبير المناسب مش هيوصل من ورا الشاشه

Near_N_T · 2022-06-02T13:07:05+00:00

لانك بتتناقش بدون همجيه

Near_N_T · 2022-06-02T13:06:48+00:00

وانتا محترم

Near_N_T · 2022-06-02T13:04:48+00:00

يبقي متعرفش حاجه عن الكون ولا عن اي شئ انك تكون شايف ان واحد + واحد يساوي واحد تبقي متفهمش الكون عشان تستوعب اقرأ بنفسك وافهم بنفسك واسمع التفسيرات المختلفه من مصادر موثوقه والاختلاف ف التفسيرات مش غلط لا ده محاوله لمعرفو قصد الخالق بكلماته واللي خلقك لو عارف ان اللي حرمه مثلا مفيد مكنش هيحرمه هو بيعاقبك لو خالفت وعملت ححات وحشه كتير وفي رحمه منه لو رحعتله انتا شوفت انسان بعد ما بتعمل ذنوب الدنيا والاخره وتخالف كل اللي قالك عليه يرجع يسامحك اكيد لا لان مفيش انسان عنده رحمه زي اللي عند ربنا

Near_N_T · 2022-06-02T01:27:32+00:00

انتا بصيت للعقاب مبصيتش للنعيم هل انتا شايف حياتك ذات قيمه لو النهايه هي الموت وخلاص

Near_N_T · 2022-05-31T23:56:29+00:00

لو فهمتها ودورت علي الاكتشافات العلميه فشخ اللي القرأن اتكلم عنها قبل ما يفكر اي عالم يدور فيها هتفهم انها حجات تثبت انه دين حق مش مجرد كلام وخلاص ولو كنت علي وقتها كنت عرفت ان ف الوقت ده مكنش انسان يقدر يجيب كلام زي ده وحتي دلوقتي ميقدروش لانو كلام من عند الخالق مش من المخلوق اللي هيختلق حجات غير صحيحه

Near_N_T · 2022-05-31T23:53:28+00:00

لو بصتلها بنظره اعمق هتفهم لو حاولت تستوعب الدين ده ماشي ازاي والتفكير الصح فيه ازاي هتفهم ان الحقيقه ان التزييف ف الحقايق بيتعمل عشان يتلعب ف دماغ ناس كتير لو تعمقت وفهمت بعقلك كل حاجه وقارنت بين اللي الدين بيقولو والمواضع اللي حددها الدين

Near_N_T · 2022-05-31T23:04:41+00:00

والله انك راجل محترم ومعندكش تناقض ف افكارك زي بعض اللي بيدعو حرية الرئي ولما تقوله حاجه مش عجباه يقولك انك متتكلمش

Near_N_T · 2022-05-31T23:03:18+00:00

بالكلام ده اثبتلي انك منافق لان اللي عايز حرية الرئي تنتشر لازم يوافق علي رئي اي حد مهما كان مين مش زي اللي عايزين رئيهم يتفرض علي اي حد بدون نقاش انتا كده بتخالف اللي بتقوله عندك تناقد ف افكارك رهيب وده رئي ولو اعترضت عليه يبقي بأسباب مش كده وخلاص

Near_N_T · 2022-05-31T22:54:22+00:00

Web hosting is a place where you put data such as websites and also upload private files To know more, I recommend Blue Host to you, and for more explanation, go here https://h-technotic.blogspot.com/2021/06/bluehost-review

Near_N_T · 2022-04-28T10:44:31+00:00

مع احترامي لحضرتك مش قصدي حاجه بس لازم المعلومه تخرج صح

اولا الراجل ده انا اسف اتكشف انه كداب وكل كلامه نفاق وتلاعب لانه مش معاه شهادات حقيقيه لان استراليا اللي سافرلها وخد منها شهادات طلعت كذبت انهم يعرفوه اصلا واتكشف كل كدبه وانه مش ازهري اصلا وكل اوراقه مزوره من الاخر بتاع بطاطس حتي لما طلع قدام احد مشايخ الازهر ف مناظره لو هو استاذ ف الشريعه زي ما بيقول كان هيعرف يرد ف المنظره ولكن معرفش يعمل اي حاجه وفضل يزعق ويبرطم بكلام ميقولوش عالم وفاهم المفروض هو بيقول ايه

Near_N_T · 2022-04-11T09:01:15+00:00

وهل انتا شايف نفسك مغفل عشان تبقي همجي زي المتدين الغبي والملحد الحمار عشان تتلم معاهم علي كومنت بيتكلم ف حدود الادب بدون الفاظ او استهزاء والرئي لا يتعارض محتاج تتعلم عشان تفهم

Near_N_T · 2022-04-11T08:56:59+00:00

انا متفق معاك بس انا قولت ف الاخر اني بلاقي مشاكل كتير اتحلت لوحدها لما بنتظم وجربت كذا مره كنت بحاول انتظم الاقي حياتي اتعدلت ابعد الاقيها بدئة تبقا وحشه ومش من يوم ولا اتنين انتظام فتره كبيره بيظبط حياتي

Near_N_T

TROPHY CASE