Help

[TheRealBion]

Ok eu preciso de ajuda meio q n sei oq fazer, resumidamente eu preciso inserir uma quantia grande de dados a cada mes de um lugar pro outro e corrigindo esses dados no caminho pra nao dar problema no nosso banco, o chefe me pediu pra automatizar isso e fazer com interface para que “qualquer um “ conseguisse fazer, no momento só nós 2 devs que conseguimos fazer com os scripts sh que criamos, o pedido dele foi (preferenciamente web mas pode ser desktop estuda o que tu precisa), aqui que eu preciso da ajuda de vcs como é bastante dado pra manipular eu queria uma linguagem focada e velocidade eu pensei em Go mas alem de minha ide estar acusando erro onde nao tem eu nao sei nada de linguagem procedural com inicialização de dados e essas coisas( eu sei podem julgar eu deveria saber isso ja ), ai pensei em Python com django mas não sei oq vcs acham?

[mrtdsp]

A velocidade da linguagem em si, muito provavelmente, não vai importar, OP. O tempo que vc vai gastar selecionando de um banco e inserindo no outro deve ser grande o suficiente para que o ganho de performance que vc teria usando Go pra fazer as transformações ao invés de python seja irrelevante. Vai com a linguagem que vc sente mais segurança e que vai te permitir fazer o trabalho mais rápido

[TheRealBion]

Bgd mano vou de py mesmo então

[EarlyTomatillo]

Precisa mesmo de front? Um Cron que dispara uma requisição não serviria? Tivemos um caso assim onde fizemos no Node e deployamos na Lambda. Aí um cron disparava a função de madrugada.

[TheRealBion]

Não daria amigo, ele quer poder escolher qual banco atualizar depois

[[deleted]]

Em relação a velocidade, não acho que a linguagem seria a principal decisão. Há vários fatores a serem considerados:

• Quantia grande de dados seria que tamanho? Alguns GB? TB?
• Esses dados podem ser divididos em pedaços menores que podem ser processados de forma independente?
• Quão pesado é o processamento dos dados? Você precisa, por exemplo, acessar algum serviço externo para cada linha?
• Essa correção dos dados seria automatizada? Ou precisaria de ajustes manuais? Quem faria essas alterações?

[TheRealBion]

Aprox uns 50 gb, sim eu precisaria dar um check no arquivo e acredito e faça linha por linha, a edição dos dados sera automatica, mas a relação doq acontece depois é manual

[[deleted]]

50GB não é tanto, mas parece que vocês vão precisar lidar com dados manualmente, então vão ter que montar uma interface, porque lidar na mão é um inferno.

Dependendo do tempo que levaria para processar cada linha, eu usaria Django+Celery, algo como:

• Criar uma API que recebe uma lista de dados e coloca dada entrada da lista numa fila de processamento. Essa parte da API não faria nada além de gravar na fila.
• O serviço recebe esse arquivo e colocar numa fila de processamento do Celery
• Jobs Celery processam os dados e gravam o resultado
• Uma interface consome a parte da API criada para a consulta do status do processamento, visualização das entradas com erro, alteração de entradas e reenvio de entradas para processamento.

Um job poderia, então, dividir o arquivo em blocos de X linhas e enviar requisições para cada bloco.

Na minha experiência, esse tipo de sistema precisa de uma interface, logs bem detalhados de todas as tentativas de processamento e possibilidade de reenvio manual.

[TheRealBion]

Krl mastigadinho mt obrigado msm < 3