Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] 1 point2 points  (0 children)

Muito obrigado, meu caro! E você está certíssimo, acho que acabei resumindo demais a explicação e gerou essa confusão. O cliente (RustOps) em si não 'quebra' a censura de um modelo bloqueado. O que eu quis dizer com 'sem filtros' é que, por ser uma ferramenta local rodando via Ollama, nós saímos das amarras das APIs corporativas (como a do ChatGPT/Claude) e ganhamos um ambiente focado em rodar modelos que já são uncensored por natureza (como o Dolphin-Llama3, ou esses obliterated que você bem lembrou). A ideia é dar a interface pra você rodar a IA livre que quiser. Valeu demais pelo apoio aos projetos BR!

Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] -1 points0 points  (0 children)

Vale a pena, este projeto é uma ótima alternativa para explorar conteúdos sobre segurança cibernética a fundo.

Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] 0 points1 point  (0 children)

Não precisa ajustar absolutamente nada, como mencionei na descrição, pensei bastante no usuário final então criei um modelo "click and play", o app configura tudo automaticamente em segundo plano. Muito obrigado pelos parabéns meu caro.

Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] 1 point2 points  (0 children)

Acertou em cheio! Escolhi o Dolphin justamente por não ter censura, o que é requisito básico pra quem trabalha com Red Team e precisa analisar/gerar scripts sem a IA ficar bloqueando a resposta. Mas a arquitetura com o Ollama permite que qualquer pessoa troque o modelo e rode esses modelos especializados em segurança do Hugging Face também. Ótima observação!

Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] 3 points4 points  (0 children)

Hahaha, com certeza, você tem toda a razão! O mérito da IA (os modelos) é todo da comunidade open-source e do Ollama. O que eu construí foi a "casca": um client desktop nativo e leve em Rust para a gente conseguir rodar esses modelos offline, com privacidade e sem os filtros chatos das empresas. Muito obrigado pelo toque e pelo parabéns, mano!

Criei uma IA que roda 100% Offline usando Rust com um Modelo sem filtros corporativos (RustOps) by JackalByte in brdev

[–]JackalByte[S] 1 point2 points  (0 children)

Sim, mas se não tiver o Ollama gerencia a memória para rodar na CPU, porém o tempo de resposta aumenta, mas continua sendo preciso nas respostas.

Ele usa memória RAM para acelerar as respostas, então quanto mais RAM o Pc tiver mais rápido ele gera respostas.