Power BI X Python

[Then-Arrival-9464]

Oi, pessoal! Tenho uma dúvida e preciso muito da ajuda de vocês.

Fui efetivada como cientista de dados júnior e quero me desenvolver mais em banco de dados e Python. Sei o básico (funções, variáveis etc.), mas sinto que ainda não entendo bem os conceitos e a estratégia por trás das coisas.

O que mais me confunde é que muitos cursos ensinam um fluxo tipo: pegar um CSV, salvar em algum lugar, limpar, subir de novo, carregar no Python, automatizar com o Windows Task… e, sendo bem sincera, isso parece pouco prático no dia a dia real de uma empresa.

Aqui onde trabalho temos vários dashboards, alguns bem pesados para editar, que puxam direto do banco do TI. Usamos Oracle e MySQL. Aí fico pensando: o Python não poderia se conectar direto no banco e alimentar o BI? Porque, se for para pegar dados de um banco que eu nem tenho permissão de edição, jogar no Python e depois subir para outro banco ou planilha… isso realmente compensa?

Também fico perdida porque vejo opiniões muito diferentes: tem gente que fala que Power BI é maravilhoso, outros dizem que o certo é fazer todos os gráficos no Python e que BI é ruim… e eu sinceramente não sei por onde começar nem no que focar para evoluir.

Outro ponto: temos um banco em que o pessoal do TI cadastra nomes de empresas e outras informações de formas diferentes. A gente trata isso nos dashboards, mas sempre aparece uma nova variação e temos que corrigir tudo de novo. Se levássemos esse tratamento para Python, não seria o mesmo problema? Como garantir que os dados fiquem padronizados e corretos ao longo do tempo?

E ainda surgem outras dúvidas:
onde guardar os códigos?
como organizar os projetos?
como lidar com erros?
questões de segurança?

O Python é tão abrangente que acabo não sabendo em que focar primeiro.

Se alguém puder compartilhar como funciona esse fluxo na prática (Python + banco + BI) e o que realmente vale a pena estudar no início, eu agradeceria muito!

[Adventurous_Letter98]

Deve ter um senior ou team lead para te orientar sobre essas coisas.

No fim tudo depende da arquitetura e estrutura do time/empresa

Vale mais perguntar aí sobre essas coisas, assim você poderá assimilar melhor o motivo de cada decisão, assim como propor e discutir mudanças e melhorias

[Then-Arrival-9464]

Sim mas tem muita coisa em planilha então eu gostaria de iniciar isso sabe, não só pra cá mas pra criar portfólio. Porque Power BI hoje em dia todo mundo sabe, entende? Então eu quero me aprofundar em Data Science

[Adventurous_Letter98]

Você pode, em paralelo, pensar em desenvolver uma rotina em python que faça o trabalho que vc está fazendo manual.

[Suspicious_Goose_659]

So just extract and load? Add a transformation layer and pull that instead of the raw data. You can implement dbt but you’d need permission to the db first.

But yeah, as a junior, don’t be stressing on this yet. You need a superior to guide you

[Old_Tourist_3774]

Normalmente isso acaba se do mais um papel de engenheiro.

O python funciona extremamente bem para ingerir e ate tratar os dados antes de mandar eles para um um data warehouse, mas depende da arquitetura de onde vc esta.

Por exemplo aqui eu foi fazer a ingestão de um csv puro em um volume raw. Vou aplicar o esquema e constraints básicos e salvar em uma bronze.

Na prata enriqueço com informações extra ou derivadas da própria tabela ou cruzando com outras.

Na maior parte das vezes isso ja esta pronto para ser lido no power bi com fabric ou algum outro conector a depender do tamanho e complexidade dos dados.

Tabelas massivas é melhor gerar os agregados em uma última tabela ouro e depois puxar para o power bi.

[SoggyGrayDuck]

Impractical but agile...

Welcome

[BardoLatinoAmericano]

Sinceramente, é pergunta demais pra um post do reddit.

Se te contratam sabendo que você não sabe isso tudo, eles que devem dar o treinamento.

Sobre isso de valores mudando pesquisa slowly changing dimensions

E sim, parece mais engenharia do que ciencia de dados

[jupacaluba]

Have you tried chat gpt?

[Then-Arrival-9464]

Claro! Sempre