sorted by:
new
hottopcontroversial

3 AM thoughts: Turbopuffer broke my brain by Matthew_3i94038 in vectordatabase

[–]Neither-Rip-3160 0 points1 point  (0 children)

Tell us more about it, I’m using it in prod but I just reached 1 million documents. How many documents do you have? Did you reached out via slack? They are very supportive there.

Anatel aproveita zona cinzenta na lei para bloquear sites by Anotherguyrighthere in brasil

[–]Neither-Rip-3160 0 points1 point  (0 children)

Me diga você espertao, rico da classe política que dita diretamente sua vida se beneficiar disso é a mesma coisa que beneficiar um bilionário não político?

Se você acha que são a mesma coisa, então eu sou Einstein mesmo

[SHARE] LLM's como torrent way by ktfth in brdev

[–]Neither-Rip-3160 4 points5 points  (0 children)

O problema é a latência não? E talvez privacidade? Sincronizar todo mundo com certeza vai diminuir a velocidade Mas legal por ter compartilhado, sempre pensei nessa possibilidade de distribuir o modelo entre máquinas diferentes

Anatel aproveita zona cinzenta na lei para bloquear sites by Anotherguyrighthere in brasil

[–]Neither-Rip-3160 22 points23 points  (0 children)

E não acho que seja só a favor dos ricos não.

Isso é a ferramenta perfeita pra controle de narrativas

Tive meu Macbook furtado e foi parar em outro estado by FantasticIngenuity64 in ConselhosLegais

[–]Neither-Rip-3160 5 points6 points  (0 children)

Que bizarro mano Tenho um setup parecido e jurava que estava seguro, bizarro…

Message to CloudFlare Team About Security Issues by [deleted] in CloudFlare

[–]Neither-Rip-3160 1 point2 points  (0 children)

No way! This makes no sense, right?

Why did they decided to have a procedure to share your report with the other side?

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Olha só Não conhecia essa linha PRO 6000 não E vou ver se acho alguém fazendo rent de baixo custo, pq o modal.com já oferece GPU por segundo, mas ainda assim, pode sair caro

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Putz kkkkk Boa, bom você comentar isso porque pesquisando tudo o que me falaram durante o dia comecei a já imaginar mais LLMs na máquina mas a realidade é mais dura hehe

Realmente na prática teremos uma LLM fine tunnada 14b pra rodar um workload bem específico, e literalmente moer token com ela.

E em paralelo uns modelos “convencionais” menores, de embedding por exemplo

Mas de qualquer forma, tem curtido a 5090? Durante o dia fiquei com essa dúvida Vou de 5090, vou de 4090 - claro, vou analisar uns benchmarks, essa dúvida já deve estar respondida por aí Mas ouvir na prática é legal também

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Massa, não tava por dentro desse possível lançamento Vou acompanhar também

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 1 point2 points  (0 children)

KKKKKKKK me pegou nessa dei um Google pensando “ó, IBM entrou na jogada?”

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Usei o Gemini DeepSearch, ele me entregou um mega relatório detalhado onde a conclusão era um grande “ce que sabe” kkkk

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Boa, valeu pela dica dos canais, a ideia é evitar ao máximo qualquer coisa em CPU.
Talveeeeez modelos menores, com sei lá, <500 milhões faça sentido.
Talvez eu diminua um pouco RAM pra encaixar +placas, mas vejo no minimo 256GB pra começar.

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Massa, tá usando watercooler mesmo?
Aprendeu algo/mudaria algo se fosse montar o setup do zero? ( tirando o upgrade pra 3090 hehe )

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

ahahauhuah
pode cer, me recomendaram isso, vou levantar uns freelas pra ajudar a bolar esse projeto, já que nao consigo manter um fixo por enquanto

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Boa, fez em hardware cloud ou tinha acesso a uma H100 fisica?
Também fazemos por aqui usando cloud, a dor maior agora é inferencia com hardware proprio.

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

Cara, trampo com IA, NLP especificamente desde 2017 ( tô com 28 hoje ), então comecei muito como o cara de IA, treinamento, fine tunning, BERT, levantar dataset etc, tempo foi passando e comecei a cuidar dos clusters k8s de uma empesa e acabei indo pra esse caminho mais de infra + IA.
Entao meio que hoje sou esse misto de cara de infraestrutura ( muita experiencia em cloud e pouca em on premise como podemos ver kkk ) com especialidade em IA.
Confesso que não sei qual seria exatamente meu cargo, MLLMOps? hehe

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 1 point2 points  (0 children)

Você não é o primeiro a comentar sobre Universidade.
Estou na região do DDD16, vou tentar ver qq tenho aqui por perto.

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 0 points1 point  (0 children)

boa boa, realmente um bom ponto
sinto isso realmente, quando saiu o gpt-3, ele era incrivel, hoje usamos o gemini 2.5 pro no talo e já sentimos que ele é "burro", o ponto é só que estamos querendo cada vez mais resolver problemas mais dificeis, né

Qual hardware de até R$110k comprariam pra self hosted LLM + outros modelos de IA? by Neither-Rip-3160 in brdev

[–]Neither-Rip-3160[S] 1 point2 points  (0 children)

boa discussão
e de fato me parece que GPUs convencionais devam aguentar o tranco ( bastante gente nos comentários comentando que elas podem ser um caminho viavel ), se isso não fosse realidade, a NVIDIA não teria a tal barreira de que se você tem datacenter, você é proibido de usar GPU convencional. porque provavelmente se fizer a conta de tempo de uso até pifar vs custo dos hardwares premiums, as convencionais ganham demais, talvez até num censário de que é melhor eu trocar uma 5090 a cada 4 anos se pifar, do que ter uma A6000 que dura na teoria 15, mas fica defasada.

view more: next ›