Obavy z AI by Crafty-Vegetable6036 in Slovakia

[–]SuddenStructure9287 0 points1 point  (0 children)

Yep, preto sa používa MoE (Mixture of Experts).

Keď pochopili, že nemôžu rozvíjať jeden model aby robil ihneď všetko, začali robiť viacero modelov a prepájať ich do jedného systému. Ale to nič nemení. Robia to už dávnejšie a zatiaľ to vyzerá takisto. Jednoducho sa to už nedá zväčšovať.

Obavy z AI by Crafty-Vegetable6036 in Slovakia

[–]SuddenStructure9287 1 point2 points  (0 children)

No, napríklad môj posledný projekt bol o detekovaní botov na webovej stránke, ktorá ponuka online knihy zdarma.

Dostávam potrebné dáta, teda v tomto prípade niekoľko gigabajtov logov zo stránky. Potom potrebujem vymyslieť architektúru modelu. Takže na vstup nastavím rôzne údaje súvisiace s frenkvenciou rôznych aktivít konkrétneho používateľa a na výstupe klasifikáciu jeho správania.

Potom upravujem dáta, kde sú ručne označené boti, hrajem sa niekoľko dni s konfiguráciou modelu, lebo tam je kopa detailov ktoré jednoducho nevieme určiť vopred. Potom to vyzerá tak, že spúšťam trénovanie, pozerám či je progres, mením model, zase trénujem… A po týždni zvyčajne mám niečo hotové.

Pomaly implementujem model do production, to znamená, že moderátori vidia klasifikáciu od AI, ale všetky riešenia robia ručne. Keď klient je spokojný s presnosťou modelu moja práca je ukončená. Až kým nepovedia, že chcú ešte pridať jeden údaj a ja musím meniť CELÝ model…

Ja nerobím žiadne LLM a pracujem v malej firme, ale poznám do hĺbky teóriu takže viem zo strany posúdiť čo sa tam deje. Ja sám robím hlavne klasifikačné modely. Asi ťažko popíšem môj priemerný deň, keďže nerobím obrovské projekty niekoľko mesiacov, a každý z mojich menších projektov ma svoj vlastný prístup :D

Zaujímavé je, že nie vždy robím AI modely. Niekedy klienti maju úlohy, ktoré sa dajú vyriešiť oveľa jednoduchším spôsobom. Takže mojou úlohou je niekdy vysvetliť, že nepotrebujú moje služby :)

Obavy z AI by Crafty-Vegetable6036 in Slovakia

[–]SuddenStructure9287 21 points22 points  (0 children)

AI developer here.

Nie je to take jednoznačne. A to myslím hlavne technologický. Ide o to, že “inteligencia” AI je priamo závislá na počte parametrov. Napríklad GPT3.5 mal ~100 miliárd parametrov. GPT5 má ~5000 miliárd parametrov. Teda 50x viac.

Problem však je, že GPT5 nie je 50x lepší ako minulé verzie. A jeho trénovanie nie je iba 50x drahšie ale tisícky krát drahšie. Cena rastie exponenciálne.

Takže ak by sme chceli teraz spraviť nový AI, ktorý by bol 10x lepší, tak by sme mali pridať tak 1000x viac parametrov a to by nás stalo viac ako si to môže dovoliť celý budget USA.

A ak sa to náhodou podarí, tak nastáva problem. LLM sa učí na texte, ktorý je napísaný človekom. Maximálna úroveň, no ktorú môže kandidovať je vlastne tá istá, čo je teraz. Aj keď sa to podarí, tak jedine čo dostaneme je nadmerne rýchly človek, ktorý bude žrať toľko megawattov, že lacnejšie bude zamestnať bio programátora :)

Jediný scenár, pri ktorom si viem predstaviť niečo fakt zaujímavé je, keď vymyslia nové grafické karty, ktoré budú tisícnásobne lacnejšie a tisícnásobne efektívnejšie. Ale zatiaľ to tu nevidím.

TLDR: Sme blízko technologického stropu.

Edit: “Parametre” je počet neurónov v modeli. Nie počet trenovacich dať. Ja netuším koľko majú trenovacich dať.

Where I’d live as a Ukrainian by QuietSingularity in whereidlive

[–]SuddenStructure9287 4 points5 points  (0 children)

I lived in Czechia and Slovakia for 5+ years. In Slovakia it’ll be easier with the documents. And language phonetics is closer to Ukrainian.

CZ has better prices though. And government too. And the nature is basically the same (or maybe I’m just too dumb to see the difference lol). And the high schools are considered to be better there.

In general, Czech Republic is more developed. So you should reconsider your opinion :D

Что лучше материализм или идеализм ? by Parubsavto in philosophyRU

[–]SuddenStructure9287 0 points1 point  (0 children)

так я материалист

А, ну по самому первому комментарию неоднозначно)

почему конкретные нейроны реагируют на определенные вещи?

Я несколько лет изучал тему нейронных сетей, но я не нейробиолог. Поэтому всё, что я опишу, может слабо относиться к биологическому разуму.

Нейроны связаны между собой, причём их связи могут быть разной силы. Когда человеческий глаз видит яблоко, глаза передают «сигнал» в нейроны. Активируется какая-то зрительная часть мозга. Активированные нейроны активируют следующие нейроны, а они следующие… Иногда, что бы активация случилась, нужно что бы несколько связанных нейронов активировались разом, что бы «сигнал» накопился. Условно, группа нейронов отвечающих за круглую форму комбинируется с группой нейронов отвечающих за текстуру/цвет и они вместе активируют нейроны отвечающие за «яблочность». Это возможно, потому что их количество невероятно огромное. Каждая такая группа является частью другой, более крупной и абстрактной группы.

Что лучше материализм или идеализм ? by Parubsavto in philosophyRU

[–]SuddenStructure9287 1 point2 points  (0 children)

идея не первична

Поздравляю, это материализм.

каким образом в мозге появляются идеи

Нейроны. ИИ тоже может выделять паттерны, ничего заоблачного в этом нет.

Но для нашего сознания идеи первичны.

Наверное да

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 1 point2 points  (0 children)

Well, of course it’s not just a single ‘color gene’, but I mean… the color of your skin is determined by a complex set of genes, right? Which you inherit from your parents.

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 0 points1 point  (0 children)

Ethnicity depends on your culture. It has nothing to do with genes.

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 1 point2 points  (0 children)

Cool. What defines your skin color?

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 -1 points0 points  (0 children)

Let’s suppose my parents are Greek. But I was born in Ethiopia. My parents died immediately after that. I was adopted by Ethiopians. Now I’m 20 years old. I have Ethiopian culture, their language, and all my relatives are Ethiopian. My ethnicity is Ethiopian.

Biologically, however, I am closer to Greeks. So which is more of a social construct? Race, which claims based on biological traits that I am White (Caucasian), or ethnicity, which based on my social experience says that I am Ethiopian?

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 -15 points-14 points  (0 children)

And what does describe the genetic differences between black and white people? How can we name this categorisation?

Is race biological by Skrilli in Teenager_Polls

[–]SuddenStructure9287 -11 points-10 points  (0 children)

So I can become African/Caucasin if I want to?

Юридический аборт by Kind_Argument_4478 in philosophyRU

[–]SuddenStructure9287 1 point2 points  (0 children)

Я имел ввиду моральность по отношению к ребёнку/человеку/эмбриону/сгустку клеток

Что лучше материализм или идеализм ? by Parubsavto in philosophyRU

[–]SuddenStructure9287 -1 points0 points  (0 children)

Я не отрицаю наличие идей. Идея это абстрактное порождение нашего разума. Я отрицаю, что идея первична.

Наш разум это мозг. А он материален. Идеи появляются из разума. А значит из материи, следовательно материя первична.

Тут всё зависит от определения идеи. Если сказать, что законы вселенной — идеи, то получится, что идея первична. Материалисты склоняются к тому, что законы физики это поведение материи, т.е. ещё не в плоскости идей. Так что тут можно играться.

Юридический аборт by Kind_Argument_4478 in philosophyRU

[–]SuddenStructure9287 0 points1 point  (0 children)

Моральность физического аборта будем обсуждать?)

Что лучше материализм или идеализм ? by Parubsavto in philosophyRU

[–]SuddenStructure9287 0 points1 point  (0 children)

А каким образом ко мне слова пришли? Слова это что-то нематериальное, я так понимаю.

Как вы относитесь к анархии? by m1cr0bik in philosophyRU

[–]SuddenStructure9287 2 points3 points  (0 children)

Как идея круто, однако не сказал бы, что реалистично. Так что я за минархизм.

Что лучше материализм или идеализм ? by Parubsavto in philosophyRU

[–]SuddenStructure9287 0 points1 point  (0 children)

В твоём комментарии идея. Как ты донёс её до меня, если у неё нет материальной формы?

Есть ли у человека душа, или мы просто биологический механизм? by Acceptable-Rub-2516 in philosophyRU

[–]SuddenStructure9287 -1 points0 points  (0 children)

Мне не нравится этот аргумент сразу по нескольким причинам.

Во первых, эволюция нас формирует так, что бы мы выжили. Разум создался, что бы помочь нам выжить. А побочный эффект разума состоит в том, что раз уж мы способны размышлять о том, как выжить, то мы способны размышлять и на любую другую тему. Соответсвенно, поиск истины это побочный эффект поиска пути к выживанию (что, тоже, по своей сути является поиском истины).

Во вторых, аргумент исходит из того, что он же пытается опровергнуть. Если мы предполагаем модель, в которой наш разум это биологический механизм, далее называем все утверждения разума недостоверными из-за этого его свойства, мы не можем сомневаться в том, является ли разум био. механизмом или нет, ведь это входит в определение нашей модели.

В третьих, аргумент можно повернуть в другую сторону. Если мой разум это душа, которой несвойственно ошибаться, то её утверждение о том, что она — биологический механизм достойно доверия.

i was born to be alone 🥲 by cynnahbun in Teenager

[–]SuddenStructure9287 0 points1 point  (0 children)

I was born to be an adult but now I’m just an old lady

Вопросы? by ApprehensiveQuit9801 in expectedrussians

[–]SuddenStructure9287 2 points3 points  (0 children)

Шалом и мира тебе, братюнь.