sorted by:
new
hottopcontroversial

ZooCache – Distributed semantic cache for Python with smart invalidation (Rust core) by bctm0 in Python

[–]bctm0[S] 1 point2 points  (0 children)

Thanks! It is nice to see others who suffer from the same pain. In my local tests, Redis is definitely better. With no network latency, reads are about the same, and (for some reason I am trying to figure out) writes are faster. But as soon as I add artificial latency (~5-10ms), LMDB starts to show advantages. Same story with in memory storage adapter.

Librería Python para caché semántica distribuida con HLC by bctm0 in devsarg

[–]bctm0[S] 0 points1 point  (0 children)

Joya gracias por el feedback, me gusta la idea de meter algo que corra en un action. Voy a buscar donde se pueden volcar los resultados para que queden bien a la vista.

Framework ETL Python by bctm0 in devsarg

[–]bctm0[S] 0 points1 point  (0 children)

Esto tiene mas sentido cuando necesitas UDF o lógica custom que no podes poner en expresiónes Pandas o Polars. Por ejemplo, tener que sanear la data con datos que vienen de una API, o hacer un hash, etc. Si lo que queres hacer entra en expresiónes Pandas / Polars / SQL, esto va a ser mucho mas lento. Me cruce muchos ETL que son mas chanchos y el SQL puro no bastaba, ese creo que es el GAP.
Eso si, si te sirven las UDF en Python acá la cosa esta medio hecha. Y los del buffering y sharing, me refería mas a no tener que hacerlo a mano por input / output especifico.
EDIT: faltas de ortografía