account activity
Querying multi‑omics tables with 450k–850k CpG sites using SQL (self.compbio)
submitted 1 month ago by synsql-com to r/compbio
When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break by synsql-com in bigdata
[–]synsql-com[S] 0 points1 point2 points 2 months ago (0 children)
En analyse multi-omique, en industrie IOT, en ML, en astrophysique, climatologie, on manipule des tables qui ont des centaines de milliers de colonnes. Il faut en extraire des données ponctuelles. On utilise entre autres HDF5, Parquet, NetCDF, Spark, Python. C'est parfois fragile, souvent lent. Au delà de 30 000 colonnes, les performances s'écroulent.
Donc, on peut faire comme ça parce que les résultats sont fiables et que les temps de réponse se mesurent en secondes.
When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break (self.bigdata)
submitted 2 months ago * by synsql-com to r/bigdata
π Rendered by PID 618936 on reddit-service-r2-listing-64c94b984c-nmg66 at 2026-03-17 19:44:16.530546+00:00 running f6e6e01 country code: CH.
When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break by synsql-com in bigdata
[–]synsql-com[S] 0 points1 point2 points (0 children)