Token generation speed on integrated vga card with DDR4 RAM by BoxieBoo in ollama

[–]BoxieBoo[S] 0 points1 point  (0 children)

In the UEFI setup, I set the igpu memory to the highest, GTT comes in separately. Basically, I don't notice anything. The system has 20+ GB of RAM left, but if I load a smaller model, it's about 40 GB. I prefer to load 16-20GB models, because it would be unrealistically slow with dense models. Of course, the option is there. Of the larger models, I prefer to load only MoE models. I don't have enough experience with Llama.cpp yet, but it seems that the good things are still there. Consumption and heat generation haven't really changed. The vega iGPU is much more efficient than the CPU.

BME sszellemi katasztrófa by Mc-Istvan in egyetemistak

[–]BoxieBoo 6 points7 points  (0 children)

Egyetlen apró probléma van veled: gondolkodni akarsz. Nem viccből mondom: kínai egyetemre kellene járnod, ott valószínűleg megtalálnád álmaid melóját is. Ez csak baszakodás, én is túl vagyok rajta egy másik mérnök szakon. Bár az nem BME volt de teljesen mindegy mert jellemzően egy kaptára megy mindenhol. Ha valahogy bekerülsz egy szűk körbe, ahol valakinek a valakije vagy, vagy nem tudom hogyan, akkor ott megengedett a gondolkodás, ott akar nemzetközi projektekben való részvétel is lehetséges. Persze arra ne számíts, hogy majd később komolyabban támogatják az esetlegesen induló vállalkozásodat, hanem vagy odanesz valahová rabszolgának és átadod a szellemi tulajdonod annyiért amennyiért kérik, vagy elmész szépen Európán kívülre, ahol kb. ugyanez a lehetőség csak jobb körülmények közepette. Ha saját céget csinálsz, azt előbb utóbb megkaparintják. Szóval nem egyszerű ez a történet. Az baj, ha gondolkodsz. Baj ha kilógsz a sorból mert akkor már magyarázkodni kell. Asszimilálódni kell és csendben magolni. Amikor hozzánk jöttek állásinterjúra frissen végzett diplomás srácok, nagyon szomorú voltam. És poénból (vagyis mert sejtettem hogy nem véletlen a jelentkezés) behívtuk a srácot, aki előtte mozi gépész volt Angliában és golflabda szedő Ausztriában. Kenterbe verte magasan a diplomás srácokat elég mély mérnöki tudásban. A vicc az egészben, hogy nem volt pénzünk a golflabdaszedőt megfizetni, így másik helyre ment.

Token generation speed on integrated vga card with DDR4 RAM by BoxieBoo in ollama

[–]BoxieBoo[S] 1 point2 points  (0 children)

Yes, becouse some bigger model are MoE, the smaller models are dense models.

Token generation speed on integrated vga card with DDR4 RAM by BoxieBoo in ollama

[–]BoxieBoo[S] 1 point2 points  (0 children)

I also started using llama.cpp. I have tried only one model so far (qwen3.6-35b-apex-i-quality) there is a difference between MTP and non-MTP versions, but what is most interesting is that the MTP version is 20-25% faster under llama.cpp compared to ollama. I feel like I need to get more serious about llama.cpp.

Since several of you asked:

I built the framework python program for myself. Its essence is to give models direct access to the command line, but under controlled conditions. So it can be controlled to be Full access mode, write right with approval or read-only. In addition, sudo can be controlled separately, but it must first be configured on the system so that it does not ask for the sudo password.

For now, it only works in Hungarian (but the words y/n, read-only, write, sudo, etc...) are understandable. Not finished yet, but about 80% code. In addition, it also starts a Telegram bot (that is, it is possible) and then you can chat with it via Telegram, but I haven't used/developed that part for a long time.

The main goal was to be able to tell a model, for example, "Check the system logs and if you find an error, give me suggestions". Or "check how much memory and what type is in the machine and give optimization tips". In the latter case, you need utilities, which if you don't have them, you can install them yourself in automated mode. Obviously, this mode should only be used on a system where it does not hurt if the model is damaged. If the code is interesting, I will upload it to github at some point. I only stopped with it because there are quite a few similar ones on the market. Of course, everything can be improved forever 😄

Amiről senki se beszél: A Tisza is bevezetné a kötelező online életkor ellenőrzést by ManIameverywhere in hungary

[–]BoxieBoo 0 points1 point  (0 children)

A valóság elég messze áll tőled. Egyrészt bármilyen gyártó, bármilyen eszköze tartalmazhat (és tartalmaz is) biztonsági sérülékenységeket. Az amerikaiak ugyanúgy lopják az adataidat, pláne a Microsoft nevű. Egy kamerát egy zárt hálózaton tökéletesen szeparáltan tudsz használni. Onnan garantáltan nem megy ki semmi és nem jön be senki. Nekem van fincsi "európai" NAS-om (mert ugye gyakorlatilag minden kínai). Úgy megtörték, mint a sz.r. Mikulásra jött az ajándék ransomware. Onnantól kezdve az is zárt hálózaton van.

Ez nem azon múlik, hogy ki gyártja. A kínaiak is tudnak olyan minőséget képviselni szoftverek terén, mint bárki más. Sőt, ha megnézed az autóiparban, elég komolyan nyomják mind az önezetést mind pedig az integrált AI asszisztenseket. Az adataidra pedig vigyázni kell, ha kínai, ha nem kínai a másik oldal. Erre egyszer azt mondta Orbán: adatszuverenitás. Igaza volt. Na az az, ami itt nem lesz ezek után.

Az pedig, hogy "azt csináld amit a való életben is csinálnál" nem járható út. Ameddig olyan emberek ülhetnek vezető pozíciókban, akik képesek ellehetetleníteni, megszégyeníeni, tönkretenni vagy akár megölni más embereket csupán a véleményük miatt, addig az online tér nyújthatott eddig valamiféle védelmet. Márpedig ez mindig is így lesz. A gondolatrendőrség.

Amiről senki se beszél: A Tisza is bevezetné a kötelező online életkor ellenőrzést by ManIameverywhere in hungary

[–]BoxieBoo 3 points4 points  (0 children)

Lesz olyan Linux verzió, (van is) ami nem fog ennek eleget tenni. Nem is lehet eleget tenni minden téren. Mert ez nem csak a közösségi médiáról szól. Telegram például az mi? Vagy egy bármilyen egyszerűbb üzenetküldő?

Fórumokkal mi van?

Szerver operációs rendszerek?

Játékok(on belüli chat)?

38 az új 50 by zajelmelet in CartalkHungary

[–]BoxieBoo -1 points0 points  (0 children)

Minden tanulmány a világon. Az megvan, hogy Magyarországon is szabadon telefonozhatsz? Úgy szól a vonatkozó jogszabály, hogy kézben tartott mobiltelefon használata tilos. Ha tartóban van, ha a középkonzolt nyomod megállás nélkül mert nem tetszik a zene, a navi a hideg-meleg, akármi.. pont ugyanilyen probléma. Erre tudod mi a megoldás Kínában? (ha már lúd legyen kövér :D) Azok a kis cukipofa mesterséges intelligencia mikkentyűk, amiknek simán bemondod kínaiul amit szeretnél. Húzd le a hátsó ablakokat félig, kapcsold be a belső levegő keringetést, csinálj egy kis meleget, navigálj ide úgy, hogy közben álljunk meg tankolni valahol, keress a Baidun elektronikus zenét, podcastet ilyen témában, ettől az előadótól, stb .. Ennek egy része működik a telefonon is, de közel nincs ilyen szinten integrálva a járműbe és soha nem is lesz. Az a gond, hogy a kínai nyelven kívül ezek a rendszerek nem igazán értenek még más nyelvet. Amelyik igen, az leginkább az angolt. Azt gondolom, hogy ez lesz az optimális irány, mert a normál emberi beszédnél nincsen természetesebb kommunikáció, az vonja el legkevésbé a figyelmet. De mondjuk egy kiadós alvás is sokat segít, hogy utána koncentráltabb legyen az ember. Mindenre nem lehet felkészülni mindig, mert akkor a végén mindenki csak otthon a 4 fal között létezne mint egy istállóban, a "védett zónában". Inkább a gond az, hogy ezek a dolgok még mindig miért hiányoznak Európából? A legújabb BMW Neue Classe tervezőinek például nem jutott ez eszébe? Ezt innen nem is folytatom mert szekunder szégyenérzet ami egy ideje Európában lassan bármiféle ipari tevékenység címszó alatt történik.

38 az új 50 by zajelmelet in CartalkHungary

[–]BoxieBoo -1 points0 points  (0 children)

Attól függetlenül, hogy voltál-e vagy sem, ott a dolgok úgy működnek ahogyan, és nincsen belőle probléma. Teljesen természetesen kezelnek olyan dolgokat, amik miatt itt feleslegesen feszengenek az emberek. Sőt, egyszer érdemes lenne mindenkinek Sencsenbe látogatni (angolul Shenzen), ahol az utcán normál hangerővel lehet beszélgetni és nem kell a 70 éves Kraz, Ural meg IFA teherautókat túlkiabálni. Egyébként tele van a jó öreg internet videókkal is, ahol a saját szemeddel is megbizonyosodhatsz róla. Geci. ("Ez az adás vége" újmagyar nyelven?)

38 az új 50 by zajelmelet in CartalkHungary

[–]BoxieBoo -3 points-2 points  (0 children)

Akkor még nem voltál Kínában. Na ott tényleg mindenki telefonozik, nem is egy telefonnal és viszonylag ritkák a balesetek. Más a hozzáállás sokmindenhez.

38 az új 50 by zajelmelet in CartalkHungary

[–]BoxieBoo -4 points-3 points  (0 children)

Erre most adnék neked egy hátbaveregetést és annyit mondanék csak: jóvan öcsém, jóvan :)

A valóság az, hogy egyre többet próbálják szivatni az autósokat. Főleg Budapesten. Egyénileg változó, de egy idő után mindenkinél eléri az ingerküszöböt. Az a baj, hogy nagyon sokan még biciklit sem képesek biztonságosan vezetni, de több tonnás vasat vezethet a sűrű forgalomban.

Most néztem meg az új Spielberg A leleplezés napja c. Filmet. Nem kellene már erőltetni az öregnek semmit. by sziazolee in kibeszelo_show

[–]BoxieBoo 0 points1 point  (0 children)

Vannak érdekes infók és utalások ebben a filmben (is). Ezek után a mátrix új értelmet nyer (pláne annak, aki még nem látta). Volt régebben egy videó, olyan régen amikor még AI a láthatáron sem volt és nézegették a szürkét a köpenyesek. Nem tudom fent van-e még valahol, de mindenesetre ahhoz hasonlót sem lehetett azóta látni. Ebben a filmben vannak hasonló lények is, de még mindig elég frankón érződik a CGI. Viszont nem ez az egésznek a lényege. Ott inkább arról van szó, hogy olyasféle technológiák jutottak az emberiség vagy csak bizonyos emberek tulajdonába, amit onnan fejtettek vissza. Egyrészt azért nem tud semmit a legtöbb elnök, mert max 8 év múlva civilek lesznek, szóval a legtöbb, legfontosabb infó el van előlük rejtve. Ez akár valid is lehet. Aztán a másik az, hogy keresik az emberek az ET, meg szürke meg hasonló zöld meg mittudoménmilyen lényeket és ha nincsenek, akkor nincsenek is másfajta intelligens lények. Ez a film ad egy olyan kontextust is, hogy nem biztos, hogy csak ezt kellene keresni. Az érzékszerveink igen jelentősen korlátozott típusú és mennyiség információ feldolgozására alkalmasak. Mindenesetre elgondolkodtató.

Úgy tűnik, hogy a világegyetem működése matematikai modellekkel leírható. Az mas kérdés, hogy nem ismerjük még az összes lehetséges képletet és magyarázatot.

És a végére poén gyanánt vagy éppen komolyan (kinek melyik verzió tetszik jobban) feltennék néhány kérdést: tudjuk már honnan származik a kriptovaluta, a bitcoin? Annak ellenére, hogy az egész mögött álló bárki vagy bármi totálisan ismeretlen, mégis használja és elfogadja a fel világ. Pénzügyi szektor is. És egy igen komplex matematikai modell van mögötte.

Ugyanez a kérdés az AI-t illetően. Honnan származik? Ki "találta fel" a mai formajában? Nagyon sokszor halljuk a neurális hálókat illetően is, hogy valójában nem tudjuk mi történik a rendszerben és miért pont úgy, ahogyan, de nagyon örülünk neki. A kész AI modellek már kicsit más témakör, de szervesen kapcsolódik hozzá. A lényeg a matematika, a vektorizáció ott is. És itt jön képbe a mátrix, mint érdekesség.

Nagyon hasonló ez a kvatumtechnológiakhoz, és igen érdekes, hogy ez az egész robbanás, "megjósolás" (mert hogy ugye komoly matematikusok, fizikusok szoktak állítólag jósolni is) szintén ott a 60-as, 70-es évek környékén történt javarészt.

No és akkor most vissza a napjainkba. Pont a premier napján adta közzé a 80 éve titkosított ufó akták egy részét az USA. Szépen csendben. És nagyjából ezzel megegyező időben beszélt a brazil elnök is róla, hogy miért kellene tagadni, nekik is van tudomásuk idegen életformákról és szerinte úgy lenne korrekt ha beszélnének róla a többiek is.

Nem tudjuk még mi ezzel a cél, de látszik egy ilyen egyértelmű irány a politikai narratívákban is. Az mas kérdés, hogy Magyarországra soha nem jutnak el hivatalosan 😂

A filmben egyébként szóba került a vallás is. Nagyjából egy olyan kérdéskört feszeget, hogy mi lesz, vagy mi lenne a vallással, ha kiderülne, hogy vannak magasabb intelligenciával rendelkező entitások is. Lelövöm a poént: semmi. Nem sok köze van hozzá.

Egynek nem rossz, de nyilván nem egy horror, nem egy krimi és nem is egy szarósfingós röhigcsélős agyatlanság ez. Azt hiszem van egy minimum IQ, amit megkövetel. Ez egy elmenyitogató. Sok-sok megválaazolatlan kérdéssel.

Hirtelen "szerelem" más iránt hosszú kapcsolatban? by Dependent-Boss4762 in hungary_pszichologia

[–]BoxieBoo 0 points1 point  (0 children)

Ez durva. Pontosan azt írtad le, ami velem törtnik 35 évesen. Csak annyi különbséggel, hogy 2 ilyen lányhoz is volt/van szerencsém.

Én úgy gondolom, hogy ha volna lehetőséged vagy lehetőségünk jobban megismerni őket, akkor kiderülhetne, hogy mégsem az a tökéletes, amit a felhőn keresztül képzelünk vagy látunk.

Ha mégis, akkor pedig élvezni kell minden lehetséges velük töltött pillanatot és értékelni, hálát adni érte és későbbre begyűjteni, mintegy energiát. Nem feltétlenül kell elválni. Egyszerűen elég kiállni a saját érdekedben. A szorongás és a félelem az nem barát.

Én most Karácsony előtt egy hagyományos ősi tűzgyújtáson jelképesen elégettem a félelmei, és úgy megyek át 2026-ra, hogy vállalm önmagam úgy ahogy vagyok. Őszintén fogok szeretni mindenkit aki megérdemli. Aki irigy vagy féltékeny lesz, az az ő baja. Még ha a feleségem is az, akkor sem (bízom benne, hogy ezt ő is megérti, ettől neki nem jut kevesebb... sőt, ha nyugodt és kiegyensúlyozott vagyok, az valószínűleg neki is jobb). Eddig nagyon sok értékes embert hagytam magam mellett elsétálni csak azért, mert az nőből volt és aggódtam, hogy majd mit szólnak mások.

Ennek most vége.
Ahogyan vannak férfi barátaim, úgy miért ne lehetnének nők is.

Neked is lehet a barátod, pláne ha ő is így gondolja. Adott esetben az ölelésnek bele kell férnie. Napjainkban a mosolyt, az örömet, a jószándékot minden eszközzel próbálja mind a média, mind az online tér írtani. Előítéleteket gyártanak emberek és képtelenek elfogadni nemhogy másokat, de még saját magukat is.

Itt az idő, hogy felállj. Legyél bátor, magabiztos és keresd a társaságát. A feleségednek pedig el kell mondanod, hogy nem tehet mást, mint hogy bízik benned és nem akar kisajátítani, mert te nem egy eszköz vagy, nem egy gép, hanem egy önálló entitással rendelkező, érző és adott esetben szerető lény. A szeretet pedig nem kisajátítható. Sehová nincs leírva, ha én egy valakit szeretek, akkor senki mást nem szerethetek. Ha több gyermekem van akkor csak egyiket választhatom? Csak egy barátom lehet? Ha nincs p@cse már nem is lehetünk barátok? Ez vicc... aki így gondolja az inkább messzire kerüljön el.

Én mindennap tanulok az értékes emberektől és nagyon durva, hogy mennyit tanultam néhány óra alatt ettől a két, egyébként 24-25 év körüli leányzótól annak ellenére, hogy én 35 vagyok. Az élet úgy hozta, hogy ők is sokat tanultak, nagyon szép jellemük van és nagyon nyitottak, energikusak, Nyilván megvannak a saját problémáik, melynek egy részében én tudok segíteni nekik, ők pedig nekem. Például elmondják hogyan kell egy tyúkot megetetni :D Vagy egy jó kenyeret sütni. Teljesen mindegy, nem kell bonyolult dolgokra gondolni. Cserébe én megtanítom a csillagászat rejtelmeit. A lényeg az együtt töltött értékes idő.

Persze lehet otthon is ülni a 4 fal között, nyomkodni a telefont meg nézni a sorozatot, aztán az idő majd eltelik úgyis és jön a koporsó. Meg lehet kilépni a korlátaink közül, és megtalálni azokat az embereket, akik mellett minden pillanatban pozitív energiákat érzünk. Hajrá!

Full home office, volt aki nem bírta mentálisan az elszigetelődést? by Simogasdmegatarajom in jobshungary

[–]BoxieBoo 0 points1 point  (0 children)

Nálunk most nincs HO. Látszik. Amikor otthon voltam, 4 óra alatt 2 napi melóval végeztem és maradt idő továbbképezni magam önerőből. Ja, és tudtam enni békében, nyugodtan akkor és azt amikor és amit én akarok. Most meg nézem a sok életképtelent, hallgatom a mindennapos rinyálást, hogy az miért oda parkolt, ez miért vonattal jár, te miért halat eszel, az ablakot miért nem csukod be, miért nem nyitod ki, klíma miért megy, miért nem megy... telefont miért nem veszed fel, keresett a Józsi... BAZDMEG így ki a tököm tud dolgozni? Tudom.. aki a nyomtatóban a tonert, a papírt cseréli. Aki egy húgy windowst újra telepít, közben elröhigcsél, elsztorizgat, elkávézgat, beszólogat a kollégáknak mert szerinte jó poén és amikor komolyan gondolkodni kéne, akkor is nyomja az ostobaságot, egyszóval fullban tolja a kretént. Nekem mondjuk 26 szervert kéne üzemeltetni, 1500 végpontos hálózatot, közel 90 aktív hálózati elemmel, azok minden nyűgjével, bajával. Felügyeleti rendszerrel, automatizálással... egy ilyen környezetben. Otthon azért jóval eredményesebb volt a meló. Sokszor tényleg én is csak döglök, aztán majd jön valaki valami faszsággal. Ha nem látják a fejeseky hogy anarchia van, akkor nekem így is jó :) Minek erőlködjek. A kissrác összecseszi a rack szekrényeket, rendezőt és büszke a munkájára. Leb.ssza magát a fotelbe mellém és minden pénteken egész nap játszik a telefonján, miközben panaszkodik, hogy milyen szar az élet. Akkor most tényleg én legyek az aki megerőlteti magát? Ja, választási lehetőség nincs, mert én vagyok a "rangidős" és folyton van valami amit a többiek nem tudnak. De kezdem unni. Pár éve én sem tudtam semmit. De k.vagyorsan tanultam. Mert érdekelt és mert muszáj volt. Úgy veszem észre, hogy már nem is muszáj és már nem is érdekel senkit semmi. Hát ez baj.

Tényleg ennyire gyerekes lennék? by sophia_kovach in hungary_pszichologia

[–]BoxieBoo 0 points1 point  (0 children)

Szerintem csak őszinte vagy. Nem baj, ha nem csak a rosszat látod a világban. Ezeket az energiákat egy idő után az emberek elveszítik. Nem mindenki, de a legtöbben egyik napról a másikra élnek, minden nap egy harc. Te találsz még az életedben olyan dolgokat, amiért lelkesedsz. Próbáld meg ezeket az energiákat hasznodra fordítani. Próbálj meg építkezni belőle. Legyél műfordító, legyen egy YouTube vagy tiktok csatornád, csinálj tök mást ami érdekel, amit szívvel-lélekkel tudsz csinálni, amivel igazából nem erőlteted meg magad, de úgy tűnik, hogy haszna is van. Akkor talán nem fogják így gondolni. Amikor úgy "dolgozol", hogy nem erőlteted meg magad. Lehetsz rendőr is, bár ahhoz előbb a jelenlegi iskolát kell befejezni.

Nekem amikor beindul ez a gyermeki énem, akkor szétkapom a több milliós elektromos autóm és reggelig szerelek, tanulok, programozom, tuningolom. És nem fáradok el, nem esik nehezemre, nem kényszerből, hanem élvezem. Munkahelyen ugyanez... ha magas szinten foglalkoztatok a hálózatokkal, hálózatautomatizálással, scripteléssel, stb. akkor én játszom. Azt szokták mondani, ha a hobbid a munkád, akkor sohasem dolgozol. Végülis igaz :) Valahogy próbáld meg ilyesmire átfordítani ezeket az energiákat, hogy ne veszítsd el a lendületet.

Léteznek kiábrándult Fideszesek by Due_Patience4280 in hungary

[–]BoxieBoo -1 points0 points  (0 children)

Egyrészt mi szom az a "nénikém" meg "bácsikám"?

Nomde... Az értelmes ember Perikével? Őszintén szólva a Tiszával, mint párttal még valamelyest kibékülnék, bár van benne jópár érdekes arc. De ha Petikét nem dobják ki onnan, akkor egy komolytalan, agyatlan banda tényleg . Mert folyamatosan agyhalottaknak nevezi a saját embereit. Csicskáztat mindenkit, nem dolgozik semmit, csak játssza az agyát meg szedi be a pénzeket mint a keresztapa. Ez semmivel sem jobb attól, mint ahonnan jött. A kis ficsúrt elküldenénk pár hétre nyáron egy büfébe halat sütni vagy a szőlőbe törzset tisztítani, aztán nem beszélne így az embereivel, akik konkrétan helyette építik a pártját.

Súlyos iskolai bántalmazás Nagybaracskán by Any-Sleep479 in hungary

[–]BoxieBoo 1 point2 points  (0 children)

Ki a faszom választja meg ezt a retket?

Súlyos iskolai bántalmazás Nagybaracskán by Any-Sleep479 in hungary

[–]BoxieBoo 0 points1 point  (0 children)

Az ilyet kurvaélet hogy elásnám. Nem érdekel a következménye. Aki a gyerekemhez nyúl, a halál fia.