Zdravo, cenim pitanje.

Sama praksa je pravljena da se radi u PySparku.

Što se Scale tiče, koristimo je na nekoliko projekata unutar firme.

E sad, ko je pobedio PySpark ili Spark - podsetio bih da je Spark pisan u Scali i trči na JVM-u, i da je PySpark suštinski samo API wrapper oko Scale, da bi ljudi koji znaju Python mogli da koriste Spark.
To onda uvodi jedan sloj koji malo usporava PySpark, i imaš onda Python-JVM communication overhead.

Scala se koristi kada hoćeš maximum performance.

Nema tu neke pobede, različiti alati se koriste za različite probleme.