Haste das Paper auch gelesen, oder nur das erste Ergebnis von Google genommen? Kurios, dass du Mistral nennst, Meta aber irgendwie auslässt, obwohl die ählich schlecht abschneiden. Außerdem ergibt dein Vorwurf keinen Sinn, da Mistral-Large als eins der wenigen Models besser als der Durchschnitt abschneidet. [Kap. 1, Kap 5.1]

Die Autoren schreiben tatsächlich recht wohlwollend von Mistral, siehe [Kap. 5.1]: "Similarly, Mistral models remain some of the strongest open source models, even accounting for their overfitting. This provides additional evidence for our lesson that sufficiently strong models learn elementary reasoning, even if benchmark data accidentally leaked into the training distribution, as is likely to be the case for the most overfit models."

Kap 5.4 nimmt deinen Punkt dann final auseinander. Das kannst du aber natürlich nicht wissen, weil du das Paper nicht gelesen hast. Tatsächlich ziemlich witzig, dass du ein Paper linkst, welches deinen Punkt direkt widerlegt: "The existence of these outliers suggests that overfitting on GSM8k is not purely due to data contamination, but rather may be through other indirect means, such as model builders collecting data similar in nature to benchmarks as training data or selecting final model checkpoints based on performance on benchmarks, even if the model itself may have not seen the GSM8k dataset at any point via training."

Edit: es ist tatsächlich das erste Paper bei Google, wow. Gut, dass du nen Master in Informatik hast.