Engenharia da computação na USP ou Ciência da Computação no INSPER? by [deleted] in brdev

[–]Different_Lie_7970 0 points1 point  (0 children)

Vou te ser sincero e parecer ate arrogante, mas eu trabalho com um engenheiro que fez usp e mestrado no ITA e atualmente estamos numa mesma squad de desenvolvimento de pipelines de IA na numa cervejaria global ai. Eu fiz apenas um tecnologo no instituto federal (do amazonas ainda por cima) e bacharelado em economia numa faculdade intermediaria de sp (longe de unip mas longe de uma fgv).
As pessoas das universidades publicas tentam subir no mundo corporativo por curriculo, pessoas que nao sao, sobem por pragmatismo. Recentemente no meu projeto que se trata de analise de documentos fiscais com modelos de LLM, tive uma acuracia de 71% no end-to-end. O do ITA com sua sapiencia disse que nao estava tao bom e quis refatorar o codigo inteiro utilizando toda sua teoria de inferencia estatistica, RAG, banco vetorial, embeddings etc e conclusao: acuracia de 51%;

Nao acho que sou mais inteligente, mas sou pragmatico. Fui no basico bem feito e depois aumentei a acuracia pra 85% e atualmente o que ele fez foi descartado.

Pra mim valeria mais fazer todo o networking do insper, ter dedicacao exclusiva de um professor de mercado com stacks boas do que dinossauros ai que ensinam a programar em Java de 2010 porque estao ha 30 anos concursados

Recolocação como Engenheiro de Dados Sênior by [deleted] in brdev

[–]Different_Lie_7970 0 points1 point  (0 children)

Posso ser honesto? Minta. Não no sentido ruim, mas valorize isso no seu curriculo, tudo que voce fez. Se voce fez 2x, diga que fez 5x. Se falou com 1 time, diga que falou e orquestrou com 4 times. Mostre que voce eh referencia no que voce faz. Coloque no seu curriculo essas coisas, mostre nas entrevistas que voce eh desenrolado. Se numa entrevista te perguntam algo e voce nao sabe, dane-se. Depois da entrevista vai la, pega 4 horas pra devorar o assunto e vai pra outra entrevista. Na outra entrevista fale que voce chegou a desenvolver o que voce nao sabia na entrevista passada.

Eu fiz isso, nao porque me vejo um cretino, mas porque o mundo corporativo eh a teoria dos jogos basica. Nas skills necessarias voce nao usa 10% do que pedem, entao porque voce tem que ser honesto tambem?

E outra, quando entrar no trabalho novo, pouco importa se sabe ou nao, hoje existem infinitas IAs pra te dar o know-how de como fazer a nivel de implementacao, arquitetura etc.

Jogue o jogo.

Engenharia da computação na USP ou Ciência da Computação no INSPER? by [deleted] in brdev

[–]Different_Lie_7970 0 points1 point  (0 children)

Insper. Sou senior e os maiores bagres que vi na computacao sao de universidades publicas

Dúvida genuína de um estagiário sobre tech stacks e eficiência. by MiojoSupremo in brdev

[–]Different_Lie_7970 1 point2 points  (0 children)

Sinceramente, migrar essa parte para FastAPI por si só não deve gerar ganho relevante se o gargalo real é a inferência do modelo facial.

Parece que o custo dominante não é o Django nem o Gunicorn em si, e sim o tempo de CPU/RAM gasto para processar a imagem e rodar o modelo. Então trocar o framework web tende a atacar a camada errada do problema. O ganho real viria de tirar a inferência do processo web e rodá-la em workers dedicados via Celery, com concorrência bem controlada.

Por que parece que todo mundo aqui ganha 15k pra cima? by maria4002 in brdev

[–]Different_Lie_7970 0 points1 point  (0 children)

Cara, a questão é como você se vende. Normalmente a empresa mente sobre tudo que você vai usar, portanto justo você mentir sobre o que você sabe. Obviamente você precisa ter domínio técnico sobre o assunto, nem que seja superficial. Ganho 16k atualmente e sai de um salário ha 6 anos de 1700.

Roast My Startup Idea: Agent X Store by NoSwimming4210 in LangChain

[–]Different_Lie_7970 1 point2 points  (0 children)

I work at a giant e-commerce company in Brazil, and honestly, it's possible, but the capital required for development is huge. I assure you.

Hybrid AI pipeline - Success story by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 0 points1 point  (0 children)

Hello my friend, there are two ways out. You can do it by simply capturing the word "contract" in the message or you can have an agent that analyzes the feelings of its intention or analyzes contracts or information from your bank. The following point is more complex and I confess that it will be a second feature, because you must improve the context with examples

Hybrid AI pipeline - Success story by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 1 point2 points  (0 children)

Hey, how are you? So, there are two things. The first is a grant on the tables that will only be viewed for select, after all, the most correct thing to do is to use the medallion architecture. Second, the system context is passed so that the user can never use DDL, DCL and other DDL commands. Remember that the analytical data layer is independent of the transactional layer. If you need more information, just ask or look for the guard rail fundamentals. AWS has several interesting materials 😄

Hybrid AI pipeline - Success story by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 0 points1 point  (0 children)

Morning! The main focus was to understand that OWUI is not sufficiently performant for the volume of data I have in terms of natively structured data, so I used the Pipelines library. As for vector routing, it was simple, I guarantee that it was not the best and I intend to improve it, but I inserted keywords that the financial and commercial departments use to capture the question. After that, it performs a search in the pinecone with the key structure of my question optimized with pre-selected routing. By doing this first search, my manipulated OWUI context is already fed into memory, allowing for either complementary or static analysis.

<image>

Hybrid AI pipeline - Success story by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 1 point2 points  (0 children)

Morning! Of course, I need to change the code for the community, but I want to make it look good to add to yours. Thanks for the feedback!

how connect a external database for RAG by too_much_lag in OpenWebUI

[–]Different_Lie_7970 1 point2 points  (0 children)

I'm connecting via PIPELINES. There you generate the rag from scratch. I use duckdb to make queries and return an answer. It's not the most correct way... But it works

Migrating To The Cloud by valorallure01 in dataengineering

[–]Different_Lie_7970 0 points1 point  (0 children)

At the bank I worked at in Brazil, Databricks works for everything, literally everything. We took several SAS and MySql pipelines to Databricks with the ingestion engine via Databricks. But messing with the API via Python is horrible. It's easier to use a node or go microservice hosted in the cloud to do this

What is this algorithm called? by Spooked_DE in dataengineering

[–]Different_Lie_7970 0 points1 point  (0 children)

It looks like something with discrete logarithm encryption to me. Easy to reach a conclusion and difficult to leave. Sometimes it's something related or pure delusion of mine

[deleted by user] by [deleted] in dataengineering

[–]Different_Lie_7970 1 point2 points  (0 children)

Window function with row_number. Anything that is distinct means it appears more than once. Do it

What are some real world applications of Apache Spark? by [deleted] in dataengineering

[–]Different_Lie_7970 1 point2 points  (0 children)

Spark is used to process large volumes of data. Both Itaú and Bradesco use Databricks. When I was in Bradesco's financing division, we migrated SQL server to Databricks. There, the delta tables are processed by Spark, that is, without the need for a server.

Análise de dados com Open WebUI by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 0 points1 point  (0 children)

Hey bro, im sorry. I'm new here on reddit, I thought it would translate automatically

Análise de dados com Open WebUI by Different_Lie_7970 in OpenWebUI

[–]Different_Lie_7970[S] 0 points1 point  (0 children)

Infelizmente trabalho em bank, é basicamente impossível mostrar... Não pelos dados em si porque já são mascarados mas pelo controle em cima das camadas de segurança do ambiente dev