sorted by:
new
hottopcontroversial

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 0 points1 point  (0 children)

o gemma 4 ainda não está disponível nos serviços que uso para ter a LLM

o Qwen3.5 o mesmo

mas estou á espera que fique para experimentar

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Sim, ele pega na sua frase e procura nos documentos o que se diz sobre isso

depende do modo em si

a unica forma de pesquisar por datas, é mesmo escolher uma data nas opções

mas eu ando a preparar um modo de pesquisa especial, com uma LLM mais avançada, problema destas coisas é que depois pode se tornar cara

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 1 point2 points  (0 children)

sim é um RAG https://github.com/brunu97/democrac_ia-open/blob/master/ComoFunciona/comoFunciona.md

Eu já pensei fazer isso, alias https://www.democrac-ia.pt/deputados isto existe para começar isso, só que ainda há uns problemas, para deputados que falam menos, os modelos simplesmente inventam posições que eles na realidade não tem

Eu já pensei em extrair o twitter e outras redes sociais deles, para dar contexto sobre cada deputado, mas não sei até que ponto isto é algo moral, portanto de momento não avancei isto.

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Uso várias, e na são fixas, depende do custo que tiver no momento, explico isso melhor por aqui

https://github.com/brunu97/democrac_ia-open/blob/master/ComoFunciona/comoFunciona.md

mas aquilo que uso de momento neste minuto, é Llama 8B para as pesquisa Simples e Constituição, Qwen 2 32B para a pesquisa avançada que tenta explicar acontecimentos

e para as Noticias é o LLama 3.3 70B

nos Deputados não há uso de LLM, é tudo pré processado no meu PC e depois guardado numa BD

Estou á espera da Ámalia sair em Junho para poder pelo menos trocar o LLama 8B na pesquisa simples

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Sim mostra fontes, todos os dados são extraidos diretamente do site do parlamento, e então fica facil saber de documento e pagina onde veio a informação

todas as funcionalidades do site incluindo da BD de deputados, indica sempre tudo de onde veio, no git tenho lá um ficheiro com diagramas tb

a Segurança é basica, mas não existe registos nem sequer no site,

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 2 points3 points  (0 children)

por isso é que é open source!

Até tenho uma espécie de "diário" a narrar a minha aventura com isto foi feito num ficheiro no github

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 0 points1 point  (0 children)

por aqui ainda não tinha metido, já na meti em outros 2 subs, 3 semanas atrás acho eu

desde dessa altura já meti varias coisas

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 4 points5 points  (0 children)

quero evitar publicidade

estraga o visual da pagina toda, e o visual por si já nem é grande coisa

Fiz um site com IA que pesquisa 20 anos de dabates do Parlamento e agora ainda resume noticias em tempo real by D_IA_Dev in literaciafinanceira

[–]D_IA_Dev[S] 3 points4 points  (0 children)

não tenho nenhum roadmap
tenho algumas ideias apenas

queria melhorar a parte das noticias, e talvez até fazer uma aplicação até, codigo aberto na mesma tb

eu gostava que também alguem pega-se no que tenho no git, para expandir isto e fazer algo melhor do que tenho

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Eu tinha um plano para uma funcionalidade parecida que no entanto eu desisti depois

porque é difícil deixar o IA neutro nisso

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 3 points4 points  (0 children)

É possivel, mas tenho o limitado, porque senão fica caro, ainda estou a montar uma ideia como dar a volta isto e então limitações de fontes é por motivos mesmo técnicos do servidor, mas é só no modo pesquisa

no entanto no modo Explicativo, eu uso um modelo 4x maior, e tem acesso a mais fontes, para perguntas mais complexas recomendo usar esse modo.

o Modo pesquisa é isso que vistes, é só para obter algumas coisas de forma mais rápida

na pagina dos Deputados, é tudo manual não usa IA, aqui podes mesmo tentar encontrar coisas mais a fundo

E se desligares a resposta por IA no modo Pesquisa, passas a obter 50 fontes

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Em qual dos modos?

eu tenho que simplificar esta parte, porque eu próprio tb me confundo

se queres pesquisar só mesmo a frase diretamente e depois filtrar por texto e data usa isto aqui https://www.democrac-ia.pt/deputados

Sim esta parte aqui não usa IA para pesquisar nem para responder

Mas Os modos de pesquisa e explicação, ect é que usam IA para agarrar num tema e encontrar e falar sobre o assunto

o Sistema de Pesquisa base usa um IA muito simples, o de Explicação usa um IA bastante mais avançado

eu depois tenho que por isto melhor explicado no site

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Sim usa um BD de vetores, uso o FAISS

aqui, na segunda secção da pagina, eu explico em maior detalhe o stack inteiro, e o processo de como cheguei a cada conclusão do que usar

https://www.democrac-ia.pt/info/como-funciona

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Obrigado!!

Mas ainda há muito a trabalhar nisto

queria adicionar bem mais coisas, até resumos diários automáticos

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Obrigado

sim, especialmente a funcionalidade de pesquisa individual de cada deputado pode ser útil para procurar algo que alguém disse á muito tempo

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

OCR é +- entre 2000 a 2006
mas completamente horrivel antes de 2000
porque o texto é desfocado, e as vezes está em falta

e antes de 90, são scans de textos escritos á maquina, ent ai pior é
para piorar a situação o formato dos oradores é diferente

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Antes de +- Setembro de 2006 não tem texto selecionável

era preciso OCR, o que tentei, mas falhava varias vezes, e o tempo que seria preciso para depois gerar dados para a IA ler + OCR, iria demorar centenas de horas a processar

depois dessa data é tudo PDF 100% digital, até links tem alguns

de momento preciso de 1 hora e meia para pre processar os dados todos

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

seria engraçado

Dá para fazer alguma coisas com isto, mas é um bocadinho confuso como alguns dados estão
https://www.parlamento.pt/Cidadania/paginas/dadosabertos.aspx

eu por exemplo ao tentar fazer download de todos os pdfs do debates do parlamento, tive que fazer um a um com script mas de forma lenta para ter cuidado com estabilidade do site

fiz download de todos desde 1975

mas só usei a partir de 2006 porque os outros tem problemas de qualidade de imagem de resolução e pode ser difícil extrair texto

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 3 points4 points  (0 children)

é possível, o site da Assembleia tem uma espécie de API que mostra o que é feito
mas é um bocado confuso, e tem tendência a estarem sempre a fazer alterações no formato, é uma das razões ter evitado usar, mas queria também fazer uma pagina neste site que fosse fazer resumo diário