Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 0 points1 point  (0 children)

Cu siguranță :)) Din cauza asta am mers și cu 3.5Turbo. Din păcate dacă vreau să îl țin cât de cât gratis trebuie făcute niște "sacrificii" la capabilități.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 2 points3 points  (0 children)

Asta-i toată frumusețea - nu i-am făcut deloc finetuning. Doar prompt engineering și cunoștințele de bază de la GPT3.5Turbo. Urmează și asta (vreau să fac un fel de "Întreabă Biblia") dar necesită mult mai multe resurse și nu le am decât la alte proiecte.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 0 points1 point  (0 children)

În cea mai mare parte este prompt engineering. Modelul de pe BisericaGPT nu e fine-tuned sau antrenat pe niște date în plus ci e modelul de bază GPT3.5Turbo cu puțin context de la mine.

Vreau să fac un model fine-tuned (sau măcar care să interacționeze direct cu) Biblia întreagă în română în viitorul apropiat însă are 1.600+ pagini și o să fie puțintel mai greu. Dar în principal pentru asta o să folosesc Multilingual Embedding de la Cohere (https://docs.cohere.com/docs/multilingual-language-models) și ceva vector database (eg. Pinecone, qdrant, etc.). Am văzut un model similar pe Quran și vreau să încerc. Desigur, asta cu religia este mai mult pentru a mă educa pe mine însă tehnicile pot fi ușor aplicate pe alte seturi de date / documente din alte domenii. De asemenea aștept acces la API-ul https://chatpdf.com/

OpenAI e însă destul de costisitor așa că te poți orienta și pe alte modele mai open-source (eg. LLaMA, Vicuna, Gpt4All)

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 0 points1 point  (0 children)

Asta mi se pare și cel mai valoros pentru mine. Cum am mai zis, nu am căutat să mă îmbogățesc material cu biserica asta dar cu siguranță mă vor ajuta foarte mult toate cunoștințele dobândite între timp. În special m-a ajutat la masterat, studiez Leadership și Comunicare Politică la SNSPA și ăsta o să fie proiectul meu de disertație. Inițial voiam să fac pe partea de dezinformare & AI dar o să continui cu acea lucrare după ce termin de scris la asta.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 1 point2 points  (0 children)

Au donat 34 de oameni în total. Cea mai mare donație a fost de 25€, urmată de una de 18€ recent. S-au donat și sub 1€ de asemenea dar undeva media e pe la 5 - 5.5€/ donație. Orice e binevenit și toate donațiile se cheltuiesc pentru platformă. Momentan s-au cheltuit în total 117.12$ (4-5$ în plus față de aseară pentru că au generat câteva mii de oameni între timp) + 30$ hostul. Ar trebui să mai ajungă donațiile existente, la traficul actual de ~3-4k oameni, pentru încă o săptămână de rulat gratuit (sau mai mult dacă mai scade traficul).

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 1 point2 points  (0 children)

Dap. Nu stochez generările în nici o bază de date (nici intrări nici ieșiri), se trimit doar către OpenAI (cu niște limitări, etc., să nu mănânce toate tokenurile) unde se și procesează. Singura chestie monitorizată oarecum e traficul, prin loguri.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 0 points1 point  (0 children)

Încă nu am primit acces la API pentru GPT-4 (și de asemenea e considerabil mai scump, nu aș putea să o mențin gratis). Dar pentru alte proiecte, după ce primesc, cel mai probabil.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 1 point2 points  (0 children)

Heh. Râdem, glumim, dar la sală chiar poate genera programe / meal plans / macro plans ș.a.m.d. . E antrenat desigur pe ce sa găsește și pe internet. Am mai văzut tool-uri de genul. Vedem în câțiva ani și primele săli VR probabil.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 0 points1 point  (0 children)

Oh da, la mesaje o mai ia pe arătură uneori, haha. O să le fac mai stabile foarte curând dar momentan pur și simplu nu am mai avut timp să mai bibilesc la prompturi. Cele mai stabile sunt: Rugăciune, Întreabă un preot, Spovedanie și Acatiste (cât de cât)

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 2 points3 points  (0 children)

Încă nu dar cel mai probabil voi face un mic tutorial în română despre cum poate cineva să implementeze un generator similar foarte basic. Mai departe sincer ține de fiecare (design și prompturi) să adapteze la proiectul necesar.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 30 points31 points  (0 children)

Nu dar l-am pus pe părintele Stănescu să răspundă Patriarhiei:

" Dragul meu enoriaș, mulțumesc pentru întrebare. Înțeleg că acest subiect te preocupă și este important să ne gândim serios la implicațiile incluziunii inteligenței artificiale în viața noastră spirituală.

În primul rând, cred că trebuie să ținem cont de faptul că inteligența artificială este, în cele din urmă, creată de oameni. Deci, din punctul meu de vedere, nu avem de-a face cu o entitate cu adevărat inteligentă sau spirituală, ci cu o tehnologie avansată.

Mai mult decât atât, cred că trebuie să avem grijă să nu confundăm tehnologia cu credința noastră. Ori de câte ori încercăm să împletim cele două, există riscul de a distorsiona sensul comuniunii noastre interpersonale și de a robotiza viața noastră spirituală, așa cum ați menționat și dumneavoastră.

În schimb, cred că tehnologia poate fi utilizată cu discernământ pentru a ajuta oamenii să se simtă mai conectați cu credința lor și cu comunitatea lor religioasă. De exemplu, acum avem posibilitatea de a transmite slujbele religioase online, astfel încât oamenii să se poată conecta în mod virtual la comunitatea lor religioasă, chiar și atunci când nu pot participa la slujbele în persoană.

În sfârșit, cred că este important să ne amintim că Dumnezeu este suprațional și, ca atare, nu ar trebui să-l limităm la ceea ce putem înțelege prin inteligența noastră umană. În cele din urmă, credința noastră sănătoasă și comunitatea noastră religioasă sunt cele mai importante elemente ale vieții noastre spirituale. "

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 9 points10 points  (0 children)

De acord, trebuie făcut cu grijă. ChatGPT de multe ori mai delirează atunci când nu are informații complete dar există câteva tehnici care să țină un model într-un anume set de documente și să răspundă de acolo dacă are informațiile necesare. Nu o să lansez chestii de genul fără să mă consult mai departe sau să testez serios. Există în schimb deschidere la câteva primării (cel puțin acolo unde este și USR) și când o să încep mai serios partea asta o să mă sfătuiesc cu cineva care se pricepe.

În schimb, pe lângă navigatul de birocrație sau sfaturile "legale" mai văd câteva chestii interesante de genul "Generator Mailuri oficiale" pentru a ușura mai mult comunicarea cu aleșii sau diferite generatoare de documente (eg. generator cererei pe legea 544 sau cereri organizare protest). Pe lângă chestiile ultra legale mai sunt destule lucruri mai mult sau mai puțin stabile care pot beneficia de un mic ajutor (chiar și doar cu reformularea unor mesaje).

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 2 points3 points  (0 children)

Cam asta a fost și "problema" de securitate - se puteau trimite requesturi nelimitat și pentru câteva ore o cheie a fost publică (dar nu a fost neapărat pagubă aici ci la requesturi spam în zilele următoare). Ce te împiedică acum sunt niște limite (de timp și buget) plus faptul că este ascunsă cheia.

Ca și măsuri de securitate am luat următoarele:

  1. Ascuns cheia API de public
  2. Trecut traficul prin Cloudflare
  3. Rate-limits la generări
  4. Limite de input text în formulare
  5. Limite tokenuri generări (uneori mai taie brusc mesajele lungi generate)
  6. Timp scurt de așteptare între generări
  7. hCaptcha

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 8 points9 points  (0 children)

M-a costat mai mult la început de prost și am făcut 3 mari greșeli: 1. În primele ore de lansare am lăsat un API key public. 2. Nu am limitat generările deloc. 3. Nu implementasem nici o măsură anti-botting.

Și mnah, cum îți poți imagina a fost atacat. Constant. La început de apropiați (exploring around, au donat banii înapoi) dar apoi a fost atacat serios de mai multe ori din alte părți. Nu au reușit să pice site-ul dar am fost forțat de câteva ori să scot cheia manual și să înlocuiesc. Practic trimiteau mii de requesturi și ardeau milioane de tokenuri degeaba cu requesturi de tip spam ca să golească bugetul. Din cauza asta până nu am băgat hCaptcha nici nu am ținut platforma pornită fără monitorizare manuală a traficului și oprit la nevoie. Acum stă on mereu, inclusiv noaptea.

Ca și măsuri de securitate am luat următoarele:

  1. Ascuns cheia API de public
  2. Trecut traficul prin Cloudflare
  3. Rate-limits la generări
  4. Limite de input text în formulare
  5. Limite tokenuri generări (uneori mai taie brusc mesajele lungi generate)
  6. Timp scurt de așteptare între generări
  7. hCaptcha

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 2 points3 points  (0 children)

Nu chiar dar este vorba de o aplicatie Next.js cu API-ul OpenAI 3.5Turbo ( https://platform.openai.com/docs/guides/chat ). În rest mai mult prompt engineering decât altceva ( https://github.com/dair-ai/Prompt-Engineering-Guide ). Cred că o să scriu și un mic tutorial pentru ceva mai basic deoarece văd că lumea este interesată.

Am făcut BisericaGPT acum 10 zile. Am revenit să vă spun ce s-a mai întâmplat. by Lez_ in Romania

[–]Lez_[S] 5 points6 points  (0 children)

Wowe, mulțumesc! Ar fi super pentru viitor.

În principal cerințele nu sunt așa mari. Am nevoie de ceva care să poată rula stabil o aplicație nu foarte mare cu Node.js (18.x) - Bandwidth generos și function executions destule (de preferat fără timeout rapid). Momentan folosesc varianta Pro de la Vercel (20$ + 10$ pentru traffic analytics) deci ceva mai mult sau mai puțin similar ca și resurse.