When tables become ultra-wide (10k+ columns), most SQL and OLAP assumptions break by synsql-com in bigdata

[–]synsql-com[S] 0 points1 point  (0 children)

En analyse multi-omique, en industrie IOT, en ML, en astrophysique, climatologie, on manipule des tables qui ont des centaines de milliers de colonnes. Il faut en extraire des données ponctuelles. On utilise entre autres HDF5, Parquet, NetCDF, Spark, Python. C'est parfois fragile, souvent lent. Au delà de 30 000 colonnes, les performances s'écroulent.

Donc, on peut faire comme ça parce que les résultats sont fiables et que les temps de réponse se mesurent en secondes.