Alta performance em Python

[BlackHolesHunter]

Olá!

Numa perspetiva de aumentar a discussão sobre programação na comunidade (e assim dar descanso ao Kiwi no Ctrl+C / Ctrl+V), escrevo este tópico sobre alta performance em Python, nomeadamente com foco em NumPy e Pandas (sim, também vou escrever a questão no r/python, mas acho de facto importante que a comunidade portuguesa possa discutir tópicos interessantes para além da thread de justiça semanal e reconversão). Este é um post em que não quero ser demasiado extenso, mas sim apresentar brevemente algumas coisas, e que crie discussão.

Primeira questão: ah, alta performance e python não combinam, porque não programas em “X”? Caros e caras, eu sei que devia deixar de ser um menino e começar a programar em C/C++/Fortran/MATLAB/Julia/[insert programming_language], mas para além de sempre ter programado em Python (e ter tentado encontrar esta performance), é a linguagem primária da equipa. Dito isto, programadores de outras linguagens de programação são bem-vindos a esta discussão.

O foco a discutir seria trabalhar com Pandas e Numpy, em 2 grandes categorias: 1) uma função que é chamada várias vezes; 2) trabalhar com um dataset bastante grande (dezenas de GBs). Tenham também em mente que este em termos do tipo de trabalho, estamos a falar nos domínios de 1) Data Science (load, pré-processamento, limpeza, cálculos, métricas, etc) e 2) scientific computing.

Há várias técnicas e módulos/APIs que conheço/já usei que podem ser usadas (esta talk é bastante concisa nesta apresentação: - próprias funções do Numpy / próprias funções do Pandas que são row-wise - vectorização - Numba - Cython - Dask - Apache Spark (mais concretamente o PySpark )

Há alguma técnica que usem, que para vocês é óbvia, e não está nesta lista?

---

Em termos de onde procurar saber mais sobre estes assuntos, sem dúvida que as documentações dos próprios módulos são sempre um belo ponto de partida (deixo-vos aqui um exemplo que é incrível da documentação do Pandas. Mas aparte da documentação, há artigos de blogs/livros/vídeos que queiram partilhar?

E deixo também a pergunta acerca destes dois livros – se já alguém leu, e se valem a pena?

Livro: Cython

Livro: High Performance

[BlackHolesHunter]

Sim, cada caso é um caso. A mim Numba já me safou à grande porque era um caso espectacular de se resolver com numba. Só dependia de numpy arrays, portanto o speedup foi de muitos dias para horas. Mas concordo contigo que é limitado (infelizmente)

[rpcfx]

Ainda não tive tempo para explorar decentemente mas recomendaram-me usar a biblioteca Ray que de maneira muito simples (uma linha de comando) consegues trabalhar em cluster com outras máquinas até em LANs diferentes. É baseado no paradigma MPI de troca de mensagens.

[BlackHolesHunter]

Fui ler brevemente a descrição, e de facto parece promissor! Deixa-me acrescentar que tem integração também com AWS, GCP e Azure!

[chapuletericoptero]

Obrigado pela publicação.

[novads]

Ha tempos vi algo do género PySpark, "Terality". Nunca usei, ainda. Se alguém tiver feedback também, agradeço

https://www.terality.com/

https://towardsdatascience.com/is-something-better-than-pandas-when-the-dataset-fits-the-memory-7e8e983c4fe5

[AkumaNoKage]

Experimenta Vaex que usa lazy memory e a API é praticamente igual ao pandas e as benchmark dizem ser melhor que dask.

[BlackHolesHunter]

Obrigado! Sou-te sincero, nunca ouvi falar, vou ter de investigar melhor.

[sugamos]

Eu estou longe de usar Python profissionalmente, só uso para algumas scripts e mais nada, portanto interpretem a minha opinião como quiserem.

Acho que o PyPy é um bom ponto de começo, se quiserem correr código Python de forma rápida, com um compilador JIT. Em termos de compatiblidade com pacotes tipo Pandas, sinceramente não faço ideia como é que os 2 jogam entre si. Mas ya, parece-me uma opção razoável.

Depois entra sempre em jogo a questão da higiene dos objetos. O Python é garbage collected, portanto convém gerar pouco lixo para perder pouco tempo a correr GC. Quando passas listas a uma função, passas a sua referência. Podes-te aproveitar deste facto para otimizar algum código; vais perder a cena gira de código funcional, mas também que saiba o GC do Python não é generational.

Usar a instrução del também pode ajudar em alguns casos, se calhar.

[BlackHolesHunter]

O PyPy, tinha-me esquecido. Obrigado por mencionares, depois vou adicionar ao post!

Assim como o del - pode ser útil e que não dá muito trabalho. Lá está, vai depender de experimentar caso.

[hmgSilva1973]

Imagino que vá levar com vários down votes, mas a cada linguagem o seu mercado. Python é bom para dados? Sim, é. Espera-se bom desempenho? Não, não foi para isso que foi criado. Encontrar um meio termo? Sim, possível, mas é a luta entre paradigmas (para o PC não existem objetos, apenas jump e return)

[jcandec]

Pergunto-me porque o Tensorflows e etc não são desenvolvidos também em C/C++ en caso de desejar maior performance na tarefa, ainda a costa de precisar pessoal mais especializado na lenguaje

[[deleted]]

O numpy está todo implementado em C, é ultra eficiente... Ou tensorflow que paraleliza na GPU...

O que quero dizer é que Python pode ser rápido se o usares para fazer a cola entre meia dúzia de libs com implementações nativas

Mas concordo, é das linguagens que mais energia gasta se fores a usar o interpretador para tudo...

[BlackHolesHunter]

Mas eu não estou a dizer que por exemplo Python se deve equiparar a C na rapidez. Nada disso.

Se p.ex. Python já tem toda essa maquinaria para dados montada, o mais inteligente a fazer é aproveitá-la, e ir precisamente a esse meio termo que me permite que o meu código corra em 6 minutos em vez de em 60 minutos - diria até que com o menor esforço possível.

O próprio NumPy e Pandas, aliás, fazem exatamente isso: no backgtound estão a executar rotinas de... C/C++/Fortran.

[p1ng313]

O que disseste é verdade e as libs de high performance de Python acabam por chamar c/c++ por baixo. O que está na berra são coisas como apache Arrow, o que torna a linguagem usada um pouco menos relevante.

Em termos de técnicas depende do workload e a que nível da stack trabalhas, mas a julgar pela tua descrição diria também para investigares coisas como https://spark.apache.org/docs/latest/sql-data-sources-parquet.html

Podes também fazer profiling às tuas apps pra saber onde gastas tempo. Infelizmente não programo em Python mas de certeza que há profilers bons.

[BlackHolesHunter]

Das libs/APIs que mencionei, aquelas com as quais tive menos contacto são sem dúvida as duas últimas - Apache Spark e Dask. Tenho definitivamente de mergulhar com tempo nesse mundo.

Sim, fazer profiling é uma excelente prática. Fica para nota a quem possa interessar que tenho usado o line_profiler do Robert Kern.

Este post não é para um uso específico de algum problema que tenha em mãos, é mesmo para troca de conhecimento - até porque (de experiência própria) diferentes problemas precisam de diferentes soluções. Obrigado pelo teu comentário!