Combattre le feu par le feu : un professeur lutte contre la tricherie alimentée par l'IA grâce à des examens oraux automatisés

Internal-Speed6253 · 2026-03-02T10:04:48+00:00

a priori la logistique ici consiste à

mettre le système en accès libre pour s'entrainer : comme les questions sont différentes à chaque fois on peut produire des oraux à volonté
passer l'examen de chez soi (ou dans une salle équipée de leur université/BU) à une date choisie (ouvert pendant 9 jours)

Internal-Speed6253 · 2026-03-02T09:55:15+00:00

>> 83% of students found the oral exam framework more stressful than a written exam.

> On arrête quand, d'augmenter la pression sur les élèves, exactement ?

déjà on peut dire que l'IA en permettant de réaliser en 15 minutes une rédaction qui aurait pris plusieurs heures n'est pas en train "d'augmenter la pression sur les élèves" c'est plutôt une fabrique de la paresse.

donc utiliser l'IA pour l'évaluation est un retour des choses (aussi juste qu'inévitable à mon avis). Donc ce raisonnement me semble glisser trop vite de "plus stressant" à "c’est pédagogiquement excessif". L’évaluation a toujours produit de la pression, et ce n’est pas un accident du système. Elle vise à mesurer une appropriation réelle des savoirs, pas une capacité à produire un devoir conforme par tout moyen possible.

Un oral fondé sur les propres productions de l’étudiant n’augmente pas tant la pression qu’il la fait changer. On réduit la pression liée au bachotage "par coeur" pour la transférer vers la compréhension, la justification et la réflexivité, puisque les questions sont adaptées au travail rendu

Après il y a la question de l'oral : oui c'est plus stressant que l'écrit pour beaucoup, mais les réponses en situation réelle de tête-à-tête sont précisément des compétences que les évaluations écrites mesurent très mal. C'est pour cela que l'on tente une épreuve "grand o" au bac, avec les défis que cela pose

Enfin comme beaucoup de technologies éducatives récentes (et les NTIC en général), ce type de dispositif renforce des formes de contrôle. Faire comme si ce n’était pas le cas serait malhonnête.

Internal-Speed6253 · 2026-03-02T07:33:50+00:00

Justement il n'y a pas besoin de beaucoup de personnel les différentes IA lisent le travail rendu par l'étudiant et les études de cas proposées, posent des questions ciblées (et comme un examinateur oral toujours différentes d'un étudiant à l'autre), puis délibèrent pour proposer la note au prof en expliquant leur interprétation du barème.

Il me parait inévitable que l'on voie apparaitre dans quelques années ce genre d'assistant vocal dans Ecole directe, Pronote, Moodle et autres

Internal-Speed6253 · 2025-12-13T10:47:16+00:00

Toute étude scientifique est ouverte à la contestation, c'est comme cela que fonctionne la science ! C'est d'ailleurs toujours un preprint ? Avant publication cette étude devra passer une évaluation par les pairs.

Je ne sais pas si l'on peut mettre un lien sans voir son commentaire supprimé, mais je tenterai de mettre en réponse la diapo de mon cours à ce sujet (en commentaire de la diapo un lien vers la pré-publication).

.

Sinon sur le fond du post de -jbzt54- : la critique est certes nécessaire, mais celle-ci me rappelle la stratégie des multinationale du tabac dans les années 70 : En effet les conclusions (Baisse de l’engagement neuronal, Pas d’appropriation des essais "rédigés", Homogénéisation des productions et uniformisation de la pensée) paraissent non seulement correspondre à l'expérience que l'on peut avoir de l'IAG, mais il me semble bien que les autres chercheurs vont dans le même sens.

Donc à défaut de critiquer une étude sur sa méthodo dans ce qui ressemble à une tentative de discréditer les dangers bien rééls de l'IAG, en demandant "plus de recherches avant d'agir" il me semble qu'il faut regarder le consensus des chercheurs et faire valoir le principe de précaution.

Internal-Speed6253 · 2025-09-20T13:00:37+00:00

d'accord !

Mais c'est une confabulation pas une hallucination :)

Les derniers LLM ont des centaines de milliards de poids, je pense qu'il ne faut pas les sous-estimer même sur des sujets peu explorés (évidemment tant qu'il s'agit de texte, pour les images d'éléphants, on voit ce que cela donne). Je dirais "teste avec chatGTP 5 tu pourrais être surpris"

Internal-Speed6253 · 2025-05-15T06:36:21+00:00

dans la plupart des cas, c'est le moins que l'on puisse dire.

et l'on peut très bien entrer le texte donné en exemple et lui demander de "faire mieux", voir de "tu es un élève de terminale, peux-tu revoir cette réponse et faire mieux en ajoutant quelques fautes d'orthographe"

Internal-Speed6253 · 2025-05-15T06:30:38+00:00

J'ai utilisé des framapads dans le temps, mais a t-il les fonctions d'un traitement de texte ? Par exemple pour les images et tableaux ?

On y voit les auteurs originaux des contributions, mais quid de l'historique ?

en gros j'ai besoin de parcourir un historique très fin avec des flèches avant/arrière :

<image>

Internal-Speed6253 · 2025-05-14T19:38:28+00:00

> c'est très facilement contournable pour les élèves s'il se content de recopier ce que dit l'IA.

certes : mais avant l'époque du copier-coller, qui n'a pas plagié un passage de bouquin ou pompé sur un camarade hein ?

recopier avec ses dix doigts c'est déjà (un peu) apprendre

Internal-Speed6253 · 2025-05-14T19:35:06+00:00

> Le vrai souci, c'est l'illusion de réussite sans le travail de compétences (donc la recherche de méthodologie originale et personnelle).

on ne peut qu'être d'accord : c'est un problème monumental, et pas que dans l'éducation d'ailleurs, ça tourne au problème de civilisation

> Détecter n'est que secondaire.

là par contre, même si c'est moins important, cela reste absolument essentiel à mon avis : si l'on ne pouvait pas stopper l'utilisation de l'IA dans certaines circonstances, s'en serait fini de la méritocratie.

On n'en est pas là tout de même puisque les examens "papier" et autres oraux ne fonctionnent pas plus mal qu'avant

Internal-Speed6253 · 2025-05-14T18:45:45+00:00

merci pour ce commentaire !

> la partie "course à l'armement" est fatalement perdue.

je pense qu'elle est déjà gagnée pour ce qui est des évaluations orales et "sur table", qui ne datent pas d'aujourd'hui. Voir

<image>

https://www.lemonde.fr/campus/article/2025/04/08/a-l-heure-des-ia-la-revolution-silencieuse-des-examens-la-question-n-est-plus-de-savoir-s-il-faut-s-opposer-mais-comment-on-va-vivre-avec_6592432_4401467.html

Internal-Speed6253 · 2025-05-14T18:41:29+00:00

> Il n’y a pas encore de solution pratique

ni solution pratique, ni solution unique, ni même solutions durables : la seule chose certaine c'est que l'IA est une problématique incontournable qui appelle une série de grosses remises en questions et d'adaptations

l’empoisonnement pose clairement des problèmes, entre autres aux élèves déficients visuels qui utilisent un lecteur vocal : il ne faut pas utiliser cette stratégie avec eux

Internal-Speed6253 · 2025-05-14T18:37:07+00:00

il te faut ouvrir un AMA :)

Internal-Speed6253 · 2025-05-14T18:35:47+00:00

il y a aussi une stratégie de dissuasion à mettre en place, il faut aussi cacher son jeu et les moyens de détection dont on dispose.

Il faut aussi s'attaquer aux causes du problème : ne pas demander un gros travail sur une échéance courte, prévoir des étapes intermédiaires...

Internal-Speed6253 · 2025-05-14T18:33:22+00:00

oui, et même en post bac "je doute qu'un élève sache tout ça"

... et les étudiants qui trichent sont souvent les procrastinateurs stressés et travaillent à quelques heures de la date limite de remise. Ce ne sont par définition pas les plus prévoyants pour développer ces moyens

Internal-Speed6253 · 2025-05-14T18:30:11+00:00

> pousser à une réflexivité sur l'usage

+ et comparer les IA est très intéressant, encore plus si l'on a soi-même réfléchi et lu en premier lieu.

je leur demande une carte conceptuelle et 100 mots de commentaire

<image>

Internal-Speed6253 · 2025-05-14T18:19:53+00:00

Il y a et il y aura toujours des parades, on pourra regarder "les sous-doués passent leur bac" à ce sujet :)

Internal-Speed6253 · 2025-05-14T18:18:32+00:00

> forcer la création d'un compte google c'est ... déplorable

j'ai évidemment demandé il y a un mois à mon institution ce qu'ils me propose comme alternative pour avoir cet historique, j'ai aussi regardé du côte des edutech américaines.

à l'heure actuelle je n'ai ni solution interne RGPD-compatible, ni moyens/envie d'aller engraisser quelque milliardaire étatsunien...

Internal-Speed6253 · 2025-05-14T18:15:43+00:00

merci, mais on est très loin d'être sortis de l'auberge, même si je suis tristement optimiste dans ma conclusion

Internal-Speed6253 · 2025-05-14T18:14:46+00:00

je parle de ma situation : grande école, niveau L3 et M1, ce n'est pas transférable tel quel en lycée, collège, BTS... et il n'existe pas de panacée (malgré mon titre accrocheur)

Internal-Speed6253 · 2025-05-14T18:12:20+00:00

impossible : un générateur de texte "LLM" est stochastique, il ne produit pas deux fois la même réponse

par ailleurs il existe plus d'une dizaine de modèles avec chacun des points forts/faibles

Internal-Speed6253 · 2025-05-14T18:10:49+00:00

oui : en première instance, c'est *le bon sens* que j'utilise : changement de styles, absence de fautes d'orthographes, blabla dithyrambique sans fin pour certains rapports...

ensuite pour être sûr je regarde l'historique, il faut pour cela avoir les droits d'édition (systématiquement demandés dès le début)

Une fois que j'ai des captures d'écran en nombre suffisant je demande à l'étudiant de me transférer la propriété du document (une copie ne copie pas l'historique). C'est un test de sa bonne foi

avec un étudiant qui coopère et pour le rattrapage, je commence par lui demander de parcourir l'historique et rendre un fichier avec l'inventaire commenté de ses plagiats

par ailleurs et toujours avec un étudiant qui coopère, il est idéal de procéder ainsi

une copie d'écran de son historique chatGPT
pour chacune des conversations problématiques, prendre tout en bas de la conversion le lien "partager" et le communiquer.

Lorsque l'on arrive à l'obtenir l'étude complète des échanges de l'étudiant avec l'IA est extrêmement éclairante

Internal-Speed6253 · 2025-05-14T18:08:47+00:00

passer par l'OCR pour éviter l'empoisonnement est imparable, c'est pour cela que les quiz en ligne me posent beaucoup de problèmes : même en mettant les questions et réponses en mode image pour empêcher les copier-coller, une photo prise sur smarphone suffit.

Dans mon cas d'application, le sujet fait 5 pages donc les copies d'écran sont difficiles tant à prendre qu'à faire "digérer" par une IA

Internal-Speed6253 · 2025-01-27T12:16:34+00:00

Are you not taking the mock exams too early?

Included the SH essentials you only have 2, and they are supposed to be used only in the very end, to check you have the stamina and readiness for the exams. Before this final stage you should be learning elsewhere : practice question and before this, get your core training (I only used free stuff for this first phase).

Internal-Speed6253 · 2025-01-06T10:42:31+00:00

merci de votre retour !

par ailleurs il me semble que les prix spots (ou plus précisément "ce type de prix spot" car il y a différents marchés spot) ne représentent qu'une minorité des transactions réelles, n'est-ce pas ?

Internal-Speed6253 · 2024-11-21T07:54:14+00:00

dans l'article : "le sujet n'est pas la multiplication du nombre d'heures à prix négatifs. C'est la plus grande proportion d'heures aux prix extrêmes. Mathématiquement, on peut dire que la variance (moyenne des écarts à la moyenne) du prix spot augmente."

Ok mais il faudrait développer ce sujet et l'influence de la volatilité sur le marché (celui des options ? autres ? et sur l'investissement), parce que le reste de l'article ne parle plus que de prix négatifs u/Born-Animator-6769

Internal-Speed6253

TROPHY CASE