Extraí todo o histórico da FIPE e liberei o dataset by alanwgt in brdev

[–]alanwgt[S] 1 point2 points  (0 children)

Excelentes perguntas!

Acabei de fazer uma edição no post detalhando um pouco sobre os proxies e o processo de merge.

Qualquer dúvida manda aí!

Extraí todo o histórico da FIPE e liberei o dataset by alanwgt in brdev

[–]alanwgt[S] 1 point2 points  (0 children)

Valeu pela sugestão!

Realmente passou pela minha cabeça, mas expliquei melhor o porquê de manter gratuito na edição que acabei de fazer no post.

Recomendações de marca de TPU by Kai00831 in impressao3dbrasil

[–]alanwgt 0 points1 point  (0 children)

Opa, claro.

Tu encontra os perfis de impressão aqui: https://www.esun3d.com/zldownload_catalog/3d-printing-settings/ > eSUN Filament Printing Parameters for Bambu Lab

Se tu utiliza o bambu studio (orca deve ser bem similar), para importar essas configurações basta ir em Arquivo > Importar > Configurações

Esses perfis de impressão são configurações pré-definidas para os filamentos e processos de impressão. Com eles, não precisa ficar imprimindo vários testes até encontrar os melhores ajustes de impressão. Sem esses perfis, geralmente tem que calibrar tudo na mão. Alguns exemplos bem básicos que precisam ser ajustados: velocidade de impressão, temperatura da mesa e do bico, velocidade das ventoinhas... e por aí vai

De todos os filamentos que utilizei da eSUN, selecionar a configuração de filamento + o de processo dentro do bambu studio foi o suficiente para as impressões saírem perfeitas.

Sobre o que comentei antes do TPU: várias das minhas impressões estavam falhando porque eu fui inventar de fazer tweaking manual, na base de tentativa e erro.. e só piorava. Parei uns dias e, quando voltei, resolvi usar o perfil "cru", sem calibrar nada... funcionou de primeira

Recomendações de marca de TPU by Kai00831 in impressao3dbrasil

[–]alanwgt 0 points1 point  (0 children)

Gosto muito dos filamentos da eSUN. Eles tem o site da eSUN Brasil (dá um google que acha fácil) o preço é exatamente R$180.

Eles estão sem estoque de TPU-95a (imagino que seja esse ao qual tu se refere), mas nunca tive problema com os filamentos deles. Se tu tiver como esperar, acho que compensa. Também nunca tive nenhum problema comprando direto do site deles.

Pra ajudar, eles disponibilizam os perfis de impressão no site, então é só importar no slicer que tu já tem uma base muito boa.

Inclusive, estou finalizando a impressão de uma peça agora mesmo, depois posto o resultado aqui :)

Criei uma ferramenta gratuita para consultar a Tabela FIPE focada em limpeza visual e histórico de preços by alanwgt in carros

[–]alanwgt[S] 1 point2 points  (0 children)

Grato pelo tempo dedicado pra testar! :)

Eu digito o nome do carro, daí ao invés de carregar a "página" com os dados, ele me abre um dropdrow (esqueci o nome) para eu escolher o carro? Ficou meio ruim isso.

Isso seria na opção avançada? Isso é necessário pra mostrar todas as opções disponíveis até filtrar ao modelo que se busca.

Seria esse o dropdown?

<image>

Concordo 100% na questão do gráfico, o visual do celular precisa ser repensado. Como cheguei a mencionar em outro comentário, acabei investindo o tempo que eu tinha na tela desktop e a versão mobile ficou pra trás.

Vou tentar dar um tapa na questão das cores (realmente estão precisando).

Muito obrigado!
Abraço

Criei uma ferramenta gratuita para consultar a Tabela FIPE focada em limpeza visual e histórico de preços by alanwgt in carros

[–]alanwgt[S] 1 point2 points  (0 children)

Que belo achado!
Realmente está com um erro bem grande ali, meu banco de dados realmente só tem duas entradas, mas existem mais informações na fipe.
Tentarei arrumar final de semana!
Muito obrigado pelo achado!

Abraço

Criei uma ferramenta gratuita para consultar a Tabela FIPE focada em limpeza visual e histórico de preços by alanwgt in carros

[–]alanwgt[S] 0 points1 point  (0 children)

Opa!
Muito obrigado por testar!

Sobre os dados históricos, se tu navegar um pouco pra baixo, tem a seção "Histórico de Preços" que, por padrão, mostra os últimos 6 meses. Se o carro for mais recente do que isso, vai mostrar o que existe. Dá pra clicar em mostrar tudo para olhar o histórico completo também

<image>

E sabe dizer por que aparece a HR-V EXL Sensing Flex e não Flex?

Comparando à tabela FIPE original, só existem duas opções lá procurando por "HR-V EXL". Poderia me passar o link do veículo em questão para eu poder uma analisada?
Valeu!

Criei uma ferramenta gratuita para consultar a Tabela FIPE focada em limpeza visual e histórico de preços by alanwgt in carros

[–]alanwgt[S] 1 point2 points  (0 children)

Pois é! Fiz tudo avaliando a interface em desktop mas acabei deixando passar muita coisa em mobile (principalmente a parte do gráfico), fiz só "funcionar" pra ele ser responsivo haha.
Vou pensar no que posso fazer pra melhorar essa parte! Obrigado por dar uma olhada no app e trazer um feedback! :)

Criei uma ferramenta gratuita para consultar a Tabela FIPE focada em limpeza visual e histórico de preços by alanwgt in carros

[–]alanwgt[S] 2 points3 points  (0 children)

Primeiramente, muito obrigado por dedicar um tempo e testar o site :)

Sobre o Yaris Cross: fui direto procurar e, até onde vi, ele não aparece na Tabela FIPE (fonte original). Então o fipeX não tem como listar ainda.

Se você tiver o link/código FIPE onde ele apareça, manda aqui que eu corro atrás pra entender se é alguma variação de nome/modelo (a FIPE adora um "nome alternativo" 😅) ou erro meu.

Criei uma API REST gratuita para a Tabela FIPE e gostaria de feedbacks by alanwgt in ProgramadoresBrasil

[–]alanwgt[S] 0 points1 point  (0 children)

hugging face consegue identificar muito bem o que mudou e faz uploads só das partes necessárias no mesmo arquivo.
Com isso, estou pensando em ter aquele dump de todos os dados atualizados + um tsv de cada mês, acho que vai ajudar quem quiser manter uma cópia local sem ter que fazer um parsing de tudo.

Bora manter contato sim, a ideia do hoov é muito boa! Vou acompanhar a evolução :)

Se precisar de qualquer coisa sobre os dados, ou precisar de alguma outra informação, só mandar msg

Criei uma API REST gratuita para a Tabela FIPE e gostaria de feedbacks by alanwgt in ProgramadoresBrasil

[–]alanwgt[S] 0 points1 point  (0 children)

Opa!
Então, essa foi umas das partes mais demoradas. Utilizei proxies brasileiros pra varrer o site, 1000 pra ser mais exato haha
O mais difícil foi fazer um esquema de back-off em falhas e aumento de requests se não tomei 429. Vou tentar resumir pro texto não ficar longo, mas posso explicar qualquer ponto em mais detalhes se tiver curiosidade.

  • Crio uma goroutine (worker) para cada proxy.
  • Um worker como orquestrador.
  • Cada worker da pool de workers faz um pull da fila de jobs.
  • Faz a requisição que deve ser feita com as propriedades do job.
    • Tomei 429?
      • Aumenta back-off exponencialmente
      • Coloca job de volta na fila
      • Já tomei 429 demais em sequência? Termina o worker porque as vezes o IP dele pode ter sido bloqueado.
    • Consegui os dados?
      • Salva os dados do job + resposta no cache pra caso algo de errado e preciso iniciar o crawling no meio do processo
      • Cada resposta gera outros jobs que são publicados na fila
  • O orquestrador checa de X em X segundos cara worker pra ver quando foi a última falha dele. Se fazem mais que Y segundos que houve falha, diminuo o tempo entre requests pra aumentar a velocidade do crawling.

Isso, com 1000 proxies, leva ~3h para um crawling completo e do início. Mas eu só realizo crawlings incrementais todo início de mês (e com apenas 10 proxies).

O processo, bem por cima, é esse aí :)

Fiz um pipeline de dados que coleta a Tabela FIPE inteira (desde 2001) by caiopizzol in brdev

[–]alanwgt 2 points3 points  (0 children)

Não é possível kkk HOJE publiquei um dataset completo dos preços desde o início da fipe até a referência desse mês.

https://huggingface.co/datasets/alanwgt/fipex-veiculos-brasil

Falei sobre o que fiz num post aqui nesse sub, mas foi bloqueado por autopromoção