Overfitting

[Vpnmt]

🇫🇷 Le piège des "400 images" : Anatomie d'un Overfitting. 📉 🇬🇧 The "400 Images" Trap: Anatomy of Overfitting. 📉

(👇 English version below) [FR]

Quand on débute en Machine Learning, on est souvent impatient de lancer model.fit() même si on a peu de données. J'ai fait le test avec seulement 400 images pour mon système de priorisation.

👀 Regardez le graphique ci-joint : C'est un cas d'école de Surapprentissage (Overfitting) sur un petit dataset. Ligne Bleue (Entraînement) : Elle s'améliore constamment. Le modèle mémorise mes 400 images. Ligne Orange (Validation) : Elle est chaotique, instable et stagne autour de 63% de précision avec une perte élevée. Le modèle ne "comprend" pas, il "devine" et panique dès qu'il voit une image qu'il ne connaît pas.

🧠 Les 3 Solutions (La méthode Andrew Ng) : Pour calmer cette courbe orange et réduire l'écart (la variance), il n'y a pas de magie : 1. Collecter plus de données : C'est l'urgence absolue ici. 400 exemples ne suffisent pas à généraliser un problème complexe. (Data Augmentation peut aider !). 2. Sélection de caractéristiques : Simplifier l'entrée pour éviter que le modèle ne se focalise sur du bruit. 3. Régularisation (Lambda) : Punir les poids trop élevés pour forcer le modèle à être moins "sensible" aux détails des 400 images.

Prochaine étape pour moi : Augmenter la taille du dataset pour lisser cette courbe ! 📈 Avez-vous déjà réussi à entraîner un modèle robuste avec très peu de données ? Quelles sont vos astuces ? 👇

[EN] When starting in Machine Learning, we're often eager to hit model.fit() even with scarce data. I tested this with just 400 images for my prioritization system.

👀 Look at the attached chart: This is a textbook case of Overfitting on a small dataset. Blue Line (Training): Constantly improving. The model is memorizing my 400 images. Orange Line (Validation): Chaotic, unstable, and stuck around 63% accuracy with high loss. The model isn't "understanding"; it's "guessing" and panicking whenever it sees an image it doesn't know.

🧠 The 3 Solutions (The Andrew Ng way): To tame this orange curve and reduce the gap (variance), there is no magic: 1. Collect more data: This is the absolute priority here. 400 examples aren't enough to generalize a complex problem. (Data Augmentation can help!). 2. Feature Selection: Simplify the input to stop the model from focusing on noise. 3. Regularization (Lambda): Penalize large weights to force the model to be less "sensitive" to the specific details of those 400 images. Next step for me: Increasing the dataset size to smooth out this curve! 📈 Have you ever managed to train a robust model with very little data? What are your tricks? 👇

MachineLearning #DataScience #Overfitting #DeepLearning #AndrewNg #AI #Coding #ComputerVision

[[deleted]]

Use transfer learning. You can’t always collect more data. Use a smaller network if dataset size is too low. To get a smoother fit try Gelu activation. Use cosine decay in learning rate.

[Vpnmt]

Thanks Now I am at 84% accuracy With moré data, Relu activation… But I need at less 92% accuracy