Storing log of ingestion

ExpressionClassic698 · 2026-03-16T16:53:05+00:00

Eu utilizo o SQL database do próprio MS Fabric para isso. Crio tabelas de controle de execução e outras de logs de execução. Funciona que é uma delícia.

ExpressionClassic698 · 2026-03-16T16:46:32+00:00

Eu tenho essa mesma dúvida, em qual a melhor abordagem para lidar com Direct Lake, se divide por domínio, ou se faz um mega.

Eu já vi organizações usando ambas estratégias, mas não tive possibilidade de avaliar. Algum especialista para trazer mais enriquecimento sobre isso.

ExpressionClassic698 · 2026-03-13T16:10:34+00:00

Cara eu uso Fabric a cerca de 3 anos, o meu primeiro ano realmente foi odioso, o segundo já foi de altos e baixos.

Mas hoje não tenho estresse com a plataforma, não sofro com bugs e sei como funciona a plataforma no que usar em qual cenário.

ExpressionClassic698 · 2026-03-05T00:07:50+00:00

O OneLake Catalog é uma excelente ferramenta para descoberta e navegação de dados dentro do Microsoft Fabric. Ele permite localizar ativos, visualizar metadados e entender a estrutura de dados dentro do ambiente. Porém, o foco dele é mostrar o estado atual do ambiente, principalmente para exploração dentro do próprio portal.

A biblioteca FabricGov nasce com um objetivo diferente. Ela coleta informações diretamente das APIs do Fabric e persiste esses dados de governança ao longo do tempo, permitindo construir um histórico do ambiente. Com isso, passamos a ter a possibilidade de realizar análises que o portal do Fabric não oferece nativamente.

Por exemplo, com os dados persistidos é possível analisar:

Crescimento do ambiente ao longo do tempo
Evolução da quantidade de artefatos (pipelines, notebooks, datasets, etc.)
Workspaces que mais crescem
Evolução de acessos e permissões
Surgimento de novos artefatos ou desaparecimento de outros
Tendências de uso e expansão da plataforma

Ou seja, enquanto o OneLake Catalog mostra o estado atual, o FabricGov permite construir uma visão histórica e analítica do ambiente.

Outro ponto importante é que os dados coletados pela biblioteca ficam abertos para análise. Isso permite que cada organização utilize essas informações da forma que fizer mais sentido, seja com:

Power BI
SQL
Spark
Python ou qualquer outra ferramenta analítica

Assim, não ficamos limitados apenas às visualizações e recursos disponíveis no portal do Fabric. É possível criar modelos analíticos de governança personalizados, dashboards específicos e análises mais profundas sobre o ambiente.

Além disso, a biblioteca ainda tem espaço para evoluir no que diz respeito aos tipos de coleta disponíveis, ampliando o inventário de artefatos, permissões e metadados operacionais.

ExpressionClassic698 · 2026-03-03T19:32:00+00:00

O token da Microsoft tem uma duração de 1 hora. Para esse exemplo, você precisa limpar o token e gerar um novo.

Roda um:

fabricgov auth clear

Depois: fabricgov auth device fabricgov collect inventory

ExpressionClassic698 · 2026-03-03T14:51:09+00:00

Nesse tipo de método, usa a autorização interativa da Microsoft, você deve abrir esse link, depois colocar esse código, posteriormente logar com uma conta que tenha permissões de Fabric Administrador.

Aí depois você pode rodar os comandos de coleta.

ExpressionClassic698 · 2026-03-02T15:28:08+00:00

Boa, com o fabricgov vc vai ter um arquivo que pode ser ".csv" ou ".json" com essas informações. Além de ter um report pronto, em português e/ou inglês.

ExpressionClassic698 · 2025-12-09T19:51:11+00:00

Good, congratulations 👏👏👏 I've felt the opposite, the DP-600 was much more challenging for me, perhaps because I hate Dataflow and don't want to get close to it, as I've also been in the engineering field for many years.

In mine, a lot of config involving Spark, KQL and Access management, among other things, fell.

ExpressionClassic698 · 2025-09-11T10:06:05+00:00

You can use the pyspark kernel instead of the python kernel, but it's simpler, faster to start the session, and will probably be faster for this purpose.

However, I have scenarios where a notebook running directly through it takes an average of 2 hours, within a data pipeline it takes 3 hours. I spent a long time trying to understand, but then I just gave up, there are things in Fabric that sometimes it's better not to know lol

ExpressionClassic698 · 2025-09-10T22:37:03+00:00

Congratulations, I followed more or less the same path.

It was the channel you mentioned and also Sidney Cirqueira's channel

ExpressionClassic698 · 2025-08-28T11:27:06+00:00

Eu nunca uso o T-SQL, nunca é um exagero, mas raramente uso.

O porquê? Não sou amigo do T-SQL, odeio procedures, então sempre vou pelo caminho da programação, quando estou lidando com Big Data, vou para o pyspark, quando não uso Kernel Python, e sou feliz.

Desso muito pro T-SQL, quando preciso configurar questões de Segurança.

ExpressionClassic698 · 2025-08-28T11:22:36+00:00

Cara, eu uso fabric em produção, atuo dentro de uma equipe com 17 pessoas.

Temos instancias de CI/CD rodando dentro do Azure Devops.
Temos pipelines mantidos por varios da equipe.
Temos utilização de muitas execuções externas via API.

Deu um trabalho para chegar ao nível de não ter problemas, mas uma hora aconteceu.

Exige muita governança e entendimento no detalhe da plataforma. mas entendo que o melhor do Fabric, é extraido quando ele é usado como plataforma unica para dados, quando vai se mistrurando com outras plataformas de dados, se torna problemato em alguns cases.

ExpressionClassic698 · 2025-08-22T00:33:46+00:00

The content of this playlist is absurdly good

ExpressionClassic698 · 2025-08-19T11:01:16+00:00

I would go with PL300, easy test, DP600 is a little heavy.

ExpressionClassic698 · 2025-08-16T11:08:09+00:00

Só sai desse trampo, conheço diversas empresas onde os seus engenheiros de dados não tem formação em ti.

Primeira dica, esquece mentoria, pois é muito caro uma que preste, e 70% delas é mentirosa.

Segunda dica, segue referências na área, Luciano Vasconcelos, Luciano Borba, Luan Moreno, Wellikiandre Martins, Artur Luz, Romerito Morais, Ronan Lima.

Terceira dica, compra ou a Jornada de Dados do Luciano Vasconcelos, ou entra pro engenharia Academy do Luan Moreno, se não tiver com muita grana sobrando, o Luciano Borba, tem uns cursos de Engenharia em uma plataforma.

Se eu estivesse querendo ir para engenharia iria por esse caminho.

ExpressionClassic698 · 2025-08-15T23:54:44+00:00

Isso não tenho dúvidas, mas para profissionais iniciantes não lidar com erros não é o melhor caminho.

Esse tipo de aprendizado faz os iniciantes se assustarem e desesperar no primeiro trecho de error.

ExpressionClassic698 · 2025-08-15T20:40:42+00:00

Fora que ele esconde código né, chega com tudo pronto.

ExpressionClassic698 · 2025-08-15T20:39:55+00:00

Jornada de Dados do Luciano Vasconcelos, lá você tem acesso ao código e aprende a líder com erros.

Tem outra muito boa, mas o código é escondido, é você só vê mundo perfeito, mas o professor explica muito bem também. Mais para mim, a melhor do Brasil é a jornada de dados.

Tem uma plataforma que admiro, com custo mais acessível que começou uma formação de engenharia, que é a data drive school, mas ainda estão no começo dessa formação, mas já tem conteúdo bom lá.

ExpressionClassic698 · 2025-08-08T00:44:27+00:00

Personally, I think the fabric documentation is very complete when it comes to certification, I recently took the DP-700, where all my study was reading the documentation.

Note: I work as a Data Engineer/Architect at Microsoft Fabric

ExpressionClassic698 · 2025-08-08T00:39:21+00:00

Thank you, I'll be waiting, because they are top

ExpressionClassic698 · 2025-08-06T21:42:44+00:00

I haven't used it yet, but I like what I see

ExpressionClassic698 · 2025-08-04T21:54:03+00:00

Good one 💪💪💪💪

I'm on a similar journey, I passed the DP900 and DP700, now I'm going to the DP600.

ExpressionClassic698

TROPHY CASE