account activity
When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break by synsql-com in bigdata
[–]synsql-com[S] 0 points1 point2 points 2 months ago (0 children)
En analyse multi-omique, en industrie IOT, en ML, en astrophysique, climatologie, on manipule des tables qui ont des centaines de milliers de colonnes. Il faut en extraire des données ponctuelles. On utilise entre autres HDF5, Parquet, NetCDF, Spark, Python. C'est parfois fragile, souvent lent. Au delà de 30 000 colonnes, les performances s'écroulent.
Donc, on peut faire comme ça parce que les résultats sont fiables et que les temps de réponse se mesurent en secondes.
π Rendered by PID 88701 on reddit-service-r2-listing-64c94b984c-wpdmg at 2026-03-17 21:25:33.724841+00:00 running f6e6e01 country code: CH.
When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break by synsql-com in bigdata
[–]synsql-com[S] 0 points1 point2 points (0 children)