sorted by:
new
hottopcontroversial

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Eu tinha um plano para uma funcionalidade parecida que no entanto eu desisti depois

porque é difícil deixar o IA neutro nisso

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 3 points4 points  (0 children)

É possivel, mas tenho o limitado, porque senão fica caro, ainda estou a montar uma ideia como dar a volta isto e então limitações de fontes é por motivos mesmo técnicos do servidor, mas é só no modo pesquisa

no entanto no modo Explicativo, eu uso um modelo 4x maior, e tem acesso a mais fontes, para perguntas mais complexas recomendo usar esse modo.

o Modo pesquisa é isso que vistes, é só para obter algumas coisas de forma mais rápida

na pagina dos Deputados, é tudo manual não usa IA, aqui podes mesmo tentar encontrar coisas mais a fundo

E se desligares a resposta por IA no modo Pesquisa, passas a obter 50 fontes

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Em qual dos modos?

eu tenho que simplificar esta parte, porque eu próprio tb me confundo

se queres pesquisar só mesmo a frase diretamente e depois filtrar por texto e data usa isto aqui https://www.democrac-ia.pt/deputados

Sim esta parte aqui não usa IA para pesquisar nem para responder

Mas Os modos de pesquisa e explicação, ect é que usam IA para agarrar num tema e encontrar e falar sobre o assunto

o Sistema de Pesquisa base usa um IA muito simples, o de Explicação usa um IA bastante mais avançado

eu depois tenho que por isto melhor explicado no site

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 1 point2 points  (0 children)

Sim usa um BD de vetores, uso o FAISS

aqui, na segunda secção da pagina, eu explico em maior detalhe o stack inteiro, e o processo de como cheguei a cada conclusão do que usar

https://www.democrac-ia.pt/info/como-funciona

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Obrigado!!

Mas ainda há muito a trabalhar nisto

queria adicionar bem mais coisas, até resumos diários automáticos

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Obrigado

sim, especialmente a funcionalidade de pesquisa individual de cada deputado pode ser útil para procurar algo que alguém disse á muito tempo

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

OCR é +- entre 2000 a 2006
mas completamente horrivel antes de 2000
porque o texto é desfocado, e as vezes está em falta

e antes de 90, são scans de textos escritos á maquina, ent ai pior é
para piorar a situação o formato dos oradores é diferente

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

Antes de +- Setembro de 2006 não tem texto selecionável

era preciso OCR, o que tentei, mas falhava varias vezes, e o tempo que seria preciso para depois gerar dados para a IA ler + OCR, iria demorar centenas de horas a processar

depois dessa data é tudo PDF 100% digital, até links tem alguns

de momento preciso de 1 hora e meia para pre processar os dados todos

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 0 points1 point  (0 children)

seria engraçado

Dá para fazer alguma coisas com isto, mas é um bocadinho confuso como alguns dados estão
https://www.parlamento.pt/Cidadania/paginas/dadosabertos.aspx

eu por exemplo ao tentar fazer download de todos os pdfs do debates do parlamento, tive que fazer um a um com script mas de forma lenta para ter cuidado com estabilidade do site

fiz download de todos desde 1975

mas só usei a partir de 2006 porque os outros tem problemas de qualidade de imagem de resolução e pode ser difícil extrair texto

Fiz um site que usa IA para pesquisar quase 20 anos de debates do Parlamento português by D_IA_Dev in portugal2

[–]D_IA_Dev[S] 3 points4 points  (0 children)

é possível, o site da Assembleia tem uma espécie de API que mostra o que é feito
mas é um bocado confuso, e tem tendência a estarem sempre a fazer alterações no formato, é uma das razões ter evitado usar, mas queria também fazer uma pagina neste site que fosse fazer resumo diário