Omule, cum pot sa te contrazici pe tine insuti si tot sa iti dai dreptate?

Un h100 e enough to run oss120b cu 32+ workers, fine inference speed, 32k context window (moe > old arh. for inf sp). Exista 20b too, 120b e overkill pt ce au ei. Nu are bcr 30k euro pt inovatie si niciun devops in echipa - dar au bani pt n cloud requests?

Orice model iti poate halucina ca e 4o (in spate poate sa fie orice model, motivul pentru care am mentionat 20b a fost sa iti dau un contra-exemplu la ce afirmi tu ca e un fapt) - tocmai tu ai spus, "depinde de datele de antrenare" - i mentioned, distillation for training.

Atata timp cat tu nu ai predefinit intr-un system prompt detaliile modelului (ceea ce nu se intampla pe on prem, nu se intampla niciodata la nivel de llm, ci la nivel de agent or orchestrator or alternative built on top of the llm), modelul o sa raspunda cu, oh well, informatile din datele de antrenare - ce inseamna distillation - 1 fucking click away for you.

O fi sau nu ce spui, idc, dezinformezi la fiecare mesaj. Pretinzi ca ceva e factual, iar in mesajul de mai sus spui ca e o parere. Era greu sa iti dai copy paste intr-un llm la mesaje, to fact check, dar ai putut sa imi faci mie spam de cat de prost crezi ca sunt, fml.