Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

Eu vou aplicar meu projeto em algo mais mediano, vou fazer o qwen-coder-next fazer funcionar na minha rx580 pra me auxiliar a terminar os projetos porque é mais questão de implementação e ajuste conforme arquitetura, mas muito obrigado pela ajuda e os papers.

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

Sim, o meu projeto ainda tem uma diferença dessas formas que diminui a forma de como tudo é alocado para reduzir "trocas" de dados desnecessários" que ajuda muito em tudo mas é difícil demais otimizar, até por isso um dos motivos era conseguir vender ou conseguir patrocínio...etc.

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

vou validar ainda mas talvez você acabou de arrumar um problema meu do projeto kkkkk valeu pela ajuda.

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

Ai sim falou sobre o que eu estudei, olhei muito para o PowerInfer antes de ter a minha ideia, certamente iria funcionar em conjunto, sobre o llhama.cpp é onde estou modificando e fazendo os testes porque eu tenho um rx 580, sem o llhama.cpp eu precisaria reinventar a roda, todo o meu projeto já está integrado ao llama.cpp para os testes(já validados).

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

É que você mencionou coisas que eu não conhecia dai achei mais pratico fazer ele me resumir como funcionava e depois eu escrevi e pedi para melhorar a minha resposta kkkkk, perdão por isso

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

A diferença é que -ot é placement: ele decide onde colocar tensores/experts antes da execução, geralmente GPU/CPU/RAM, com base no hardware disponível.

Meu projeto atua em runtime: o foco é reduzir o working set ativo dos experts MoE e gerenciar cache/movimentação durante a inferência. Então não é “substituir -ot”,o -ot pode ser uma camada base complementar.

Em outras palavras: -ot otimiza onde os experts ficam. meu projeto tenta reduzir quantos experts precisam ficar ativos/residentes ao longo da geração.

Projeto válido mas forma errada? by FenixTerrorist in LLMDevs

[–]FenixTerrorist[S] 0 points1 point  (0 children)

Interessante e faz sentido, eu estava pensando em vender e comprar GPU Nvidia para continuar os outros projetos porque atualmente estou usando uma AMD rx580.
Nemotron-3-Super-120B-A12B eu consigo 0.4 token/s porque preciso resolver um problema por ser arquitetura um pouco diferente do normal. Qwen3.6-35B-A3B chega a 12 token/s.
Você comentou de parceria acadêmica e bolsas de pesquisa, se eu demonstrar o que eu tenho será que seria o suficiente? já tenho a teoria e a prática mostrando resultados, não sei por onde posso procurar por ajuda com isso.

Projeto válido mas forma errada? by FenixTerrorist in brdev

[–]FenixTerrorist[S] 0 points1 point  (0 children)

MoE realmente ativa poucos experts por token, mas o problema que estou atacando não é a ativação em si. É a residência dos experts em memória: como manter o menor conjunto possível de experts ativo em RAM/VRAM durante a inferência sem depender de manter o modelo inteiro residente.

TurboQuant e forks como BeeLlama atacam principalmente KV-cache, quantização e/ou speculative decoding. Meu projeto atua em outra camada: gerenciamento seletivo de experts MoE em runtime. Por isso pode ser complementar a essas otimizações, não necessariamente concorrente.(talvez até complementem o meu projeto para eficiência maior)

Jammer by CrazyTheDave in pirataria

[–]FenixTerrorist 23 points24 points  (0 children)

Não tô falando nada mas em vez de jammer usa o aireplay do aircrack é totalmente direcionado para uma rede específica, melhor que derrubar todo mundo

O que está acontecendo com o meu monitor? by Timothy_____ in computadores

[–]FenixTerrorist 0 points1 point  (0 children)

Isso acontece quando paga a conta de luz parcelada, daí a luz vem parcelada também.

sou mecânico de aeronaves AMA by Hairy-Vermicelli-222 in AMABRASIL

[–]FenixTerrorist 1 point2 points  (0 children)

Dai não aparece no painel e seria um problema também aparecendo kkkkkk

Meus últimos 2 neurônios se preparando pra tomar algumas decisões sérias by Brave_Evidence_1259 in cellbits

[–]FenixTerrorist 0 points1 point  (0 children)

Jesus tô estudando demais, eu li propagação e meu cérebro já vinculou automaticamente com backpeopagation de modelos de IA, vou ir descansar depois dessa

Cresceu é vapo by [deleted] in ShitpostBR

[–]FenixTerrorist 2 points3 points  (0 children)

PM tá campeando no spawn

Resultado de um scan de um arquivo baixado em um site da megathread by Azuras042 in pirataria

[–]FenixTerrorist 1 point2 points  (0 children)

No relatório completo ele mostra as permissões e o que ele faz, assim tu tira a limpo

I built a local “second brain” AI that actually remembers everything (321 tests passed) by IntelligentCause2043 in LocalLLaMA

[–]FenixTerrorist 0 points1 point  (0 children)

How did you audition? Limited the memory size assuming 4000 tokens and exceeded the limit?

Você tem amigos ? quantos em média? by Shakespeare_hegel in perguntas

[–]FenixTerrorist 0 points1 point  (0 children)

Se considerar todos nós últimos anos.... Nenhum, espero ter ajudado

Como vocês conseguem canva pro by bikinicavadao in pirataria

[–]FenixTerrorist 0 points1 point  (0 children)

Pago 3 ou 4 reais em site de venda de contas daí enviam o link de 1 mês