Gallika.net

Questionnaire d'enquête : mesurer… ou fabriquer des réponses ?

Olivier Delhaye — 2026-03-24T09:09:15Z

Ce matin encore, je suis tombé sur un questionnaire d'enquête diffusé par une doctorante. Il cumulait les défauts classiques : flou des concepts, absence d'opérationnalisation, illusion de mesure. Cela m'a incité à revenir sur quelques exigences méthodologiques de base... et à proposer une formation sur ces questions.

Un questionnaire ne recueille pas des opinions brutes ; il transforme une réalité complexe en indicateurs simplifiés.

Ce passage est une opération méthodologique lourde : sélection de certains aspects de la réalité, exclusion d'autres, traduction en langage compréhensible par le répondant.
Autrement dit, un questionnaire est toujours une réduction construite.

Par exemple, dire « mesurer la motivation » revient en réalité à choisir certains comportements (participation, effort, persévérance) et à en ignorer d'autres (émotions, trajectoire personnelle, contexte social).

Ce que tu mesures dépend donc moins des réponses… que de ce que tu as décidé de rendre mesurable.

Des questions de recherche testables

La difficulté n'est pas de poser une question mais de la rendre empiriquement testable.

Un bon critère de qualité consiste à pouvoir répondre par l'affirmative à la question : « Puis-je imaginer une réponse observable à ma question ? »

Exemple :

« Les étudiants sont-ils motivés ? » : il s'agit d'une question naïve. Elle suppose que la motivation est directement observable et mesurable en une seule question.

« Les étudiants déclarent-ils persévérer lorsqu'une tâche devient difficile ? » : ici, la question participe d'une construction méthodique. La motivation est approchée à partir d'indices déclaratifs multiples (persévérance, engagement, stratégies, etc.).

Mais il faut aller plus loin. Une question de recherche sérieuse implique une population définie, un contexte (institution, niveau, discipline) et une temporalité. Sans cela, les résultats sont ininterprétables hors contexte.

La construction des variables

C'est ici que se joue la qualité scientifique du questionnaire. Une variable doit être décomposable, observable indirectement et reconstituable à partir de plusieurs indices.

Prenons un exemple en FLE, celui de l'autonomie dans l'apprentissage. Elle peut être décomposée en plusieurs capacités : la capacité à chercher des ressources seul, à s'auto-corriger et à organiser son apprentissage.

Chaque dimension est observable, mais indirectement, à travers plusieurs indices. C'est pourquoi la mesure de l'autonomie se fera à travers les réponses à plusieurs items.

Pourquoi plusieurs items ? Parce qu'un seul item peut être mal compris, interprété différemment et/ou influencé par le contexte immédiat. La multiplication des items permet de stabiliser la mesure.

Le problème central : la validité

On insiste souvent sur la « bonne formulation ». C'est secondaire. La vraie question que tu devrais te poser est : « Est-ce que mes items mesurent bien ce que je crois mesurer ? »

Exemple classique : « J'aime travailler en groupe ». Tu crois mesurer l'esprit de collaboration. Mais tu mesures peut-être la sociabilité, l'insécurité face au travail individuel ou encore l'habitude scolaire. C'est un problème de validité de construit.

Donc, une formulation claire ne garantit rien ; seule la cohérence globale du dispositif donne du sens à ton enquête.

Le mirage des échelles

Les échelles de type Likert (le plus souvent 5 échelons exprimant chacun le degré d'accord ou de désaccord avec une assertion proposée) donnent une illusion de précision.

Mais la distance entre les échelons 1 et 2 n'est pas nécessairement la même qu'entre les échelons 4 et 5, les répondants n'utilisent pas tous l'échelle de la même manière, certains évitent systématiquement les extrêmes, etc. Résultat : des données comparables en apparence sont instables en réalité.

La bonne pratique consiste à regrouper plusieurs items, éviter les interprétations trop fines, analyser des tendances plutôt que des micro-écarts.

Les inévitables biais

Les biais ne sont pas des erreurs ponctuelles ; ils sont intrinsèques au dispositif. Il peut notamment s'agir de :

– biais de désirabilité sociale, particulièrement fort en contexte éducatif : les étudiants répondent comme de « bons étudiants » ;

– biais de compréhension : une même question simple peut être interprétée différemment selon le niveau de langue, le profil culturel ou les vécus scolaires ;

– biais d'acquiescement : les enquêtés ont parfois tendance à répondre « d'accord » par facilité ;

– biais de contexte : une question précédente peut modifier la réponse à la suivante.

Il n'est donc pas question de neutraliser ces biais, mais d'apprendre à vivre avec et à les limiter.

Ne pas négliger le pré-test

Le pré-test, trop souvent bâclé, n'est pourtant pas une simple formalité. Il sert à observer les hésitations, repérer les incompréhensions, identifier les réponses absurdes (même si elles semblent cohérentes pour le répondant). Tu devras donc chercher non pas « ce qui marche », mais bien « ce qui ne marche pas ».

La grande illusion des pourcentages

Une fois les réponses collectées, le danger s'installe.
Une erreur typique consiste à présenter des pourcentages comme des faits.

Exemple : « 72 % des étudiants se sentent motivés »

Cela ne signifie rien si aucune définition de « motivé » n'a été fournie, si la construction des items n'a pas été explicitée et si les biais potentiels ou constatés ne sont pas analysés.

Un questionnaire ne produit pas la réalité ; il produit une lecture possible de la réalité.

___

Le questionnaire est un outil séduisant parce qu'il donne une impression de rigueur. Mais en sciences humaines [1], la rigueur ne vient pas du chiffre ; elle vient de la construction du dispositif.

Un mauvais questionnaire produit des données propres et fausses. Un bon questionnaire produit des données imparfaites… mais interprétables.

[1] Les sciences du langage et de l'éducation sont des sciences humaines.

Une formation en ligne, centrée sur les enjeux méthodologiques et les procédés de construction des questionnaires d'enquête en sciences humaines, peut être organisée sur demande [1].

Où trouver des documents authentiques pour la classe de FLE ?

Olivier Delhaye — 2026-03-07T21:00:17Z

« La classe de langue doit progressivement s'ouvrir sur les discours réels de la société dans laquelle la langue est utilisée. » – Christian Puren

Lorsqu'on cherche des documents authentiques pour la classe de français langue étrangère, la presse destinée aux enfants et aux adolescents constitue une ressource particulièrement riche. Ces publications s'adressent à de véritables lecteurs francophones, et non à des apprenants de FLE. Elles offrent donc des textes produits pour informer, expliquer ou divertir un public natif, dans une langue souvent plus accessible que celle de la presse généraliste.

Pourquoi la presse jeunesse est une bonne source

Les magazines destinés aux jeunes présentent plusieurs caractéristiques qui les rendent particulièrement exploitables en classe :

– des articles relativement courts ;
– une langue généralement claire et structurée ;
– une forte présence d'illustrations, schémas et infographies ;
– une grande diversité de genres : reportage, interview, dossier, quiz, témoignage.

Ils permettent ainsi de travailler non seulement la compréhension écrite, mais aussi la lecture d'images, l'identification de genres journalistiques ou encore la discussion autour de sujets d'actualité.

Quelques sources intéressantes

Actualité et compréhension du monde [1]

Google News
https://news.google.com
Agrégateur d'actualité qui permet d'accéder rapidement à des articles provenant de nombreux médias francophones. Utile pour repérer des textes récents et varier les sources. L'interface permet également de filtrer les sujets ou les rubriques.

1jour1actu
https://www.1jour1actu.com
Actualité expliquée aux enfants et aux préadolescents. Les articles sont courts et très structurés, souvent accompagnés d'illustrations ou de vidéos explicatives.

Les As de l'info
https://lesasdelinfo.com
Site d'information destiné aux 8–12 ans qui propose des explications claires de l'actualité internationale.

Mon Quotidien
https://www.playbacpresse.fr
Journal d'actualité pour les 10–13 ans, avec des textes courts et une mise en page très lisible.

L'ACTU
https://www.playbacpresse.fr
Même adresse. Destiné à un public adolescent (13 ans et plus), avec des dossiers d'actualité plus développés.

Okapi
https://www.okapi.fr
Magazine destiné aux collégiens, mêlant actualité, culture et sujets de société. Les articles sont souvent bien structurés et accompagnés d'illustrations, ce qui en fait des supports intéressants pour des apprenants adolescents.

Sciences, découverte et culture générale

Curionautes des sciences
https://milan-jeunesse.com
Magazine scientifique centré sur la découverte et l'esprit d'enquête.

Les Débrouillards
https://www.lesdebrouillards.com
Publication scientifique très connue dans l'espace francophone, proposant dossiers, expériences et reportages.

Images Doc
https://www.bayard-jeunesse.com
Magazine documentaire richement illustré destiné aux 8–12 ans.

Wapiti
https://milan-jeunesse.com
Magazine consacré à la nature, aux animaux et aux sciences du vivant.

Arkéo
https://www.faton.fr
Magazine consacré à l'histoire et à l'archéologie pour les jeunes lecteurs.

Pour des apprenants plus âgés

Phosphore
https://www.phosphore.com
Magazine destiné aux lycéens et jeunes adultes, avec dossiers d'actualité, questions de société et orientation.

Slate
https://www.slate.fr
Site d'analyse et de commentaires sur l'actualité. Les articles y sont souvent plus longs et plus argumentés que dans la presse jeunesse, mais restent généralement accessibles en consultation libre. Ils peuvent constituer de bons supports pour des apprenants avancés.

Plusieurs de ces sites présentent des reproductions partielles de pages issues des magazines imprimés. Avec un peu d'attention – et quelques stratégies de consultation que les enseignants connaissent bien, même si elles ne figurent pas toujours dans les modes d'emploi officiels – il est souvent possible d'isoler des fragments de documents parfaitement exploitables en classe.

Qu'est-ce qu'un document authentique ?

En didactique des langues, on appelle document authentique un document produit pour une situation de communication réelle, et non pour l'enseignement d'une langue [2].

Un article de presse jeunesse est donc authentique dans la mesure où il est destiné à des lecteurs francophones réels et répond à une intention de communication ordinaire : informer, expliquer ou divertir.

Dans la pratique pédagogique, on distingue généralement trois statuts de documents.

Type de document	Définition	Exemple
Document authentique	Document produit pour une situation réelle de communication	article de presse, affiche, reportage
Document didactisé	Document authentique légèrement adapté pour l'apprentissage	article abrégé, vocabulaire expliqué
Document pédagogique	Document créé spécialement pour l'enseignement	dialogue de manuel

Dans la classe de FLE, les documents authentiques sont rarement utilisés dans leur forme brute : ils sont souvent sélectionnés, découpés ou contextualisés afin de devenir des supports pédagogiques.

Repérer rapidement un bon document

Lorsque je feuillette un magazine ou un site jeunesse pour trouver un support de classe, quelques indices permettent d'identifier rapidement un document exploitable :

– un titre explicite annonçant clairement le sujet ;
– un texte court ou segmenté ;
– la présence d'illustrations informatives ;
– une organisation visible (encadrés, intertitres, citations) ;
– un sujet susceptible de susciter une réaction ou une discussion.

Quelques usages pédagogiques possibles

Un document authentique peut être utilisé de différentes manières selon l'objectif pédagogique.

Compréhension
Le document sert d'abord de support à une activité de compréhension écrite ou orale : repérage d'informations, compréhension d'une infographie, identification d'une idée principale.

Interaction
Il peut également servir de déclencheur de discussion, permettant aux apprenants d'échanger leurs points de vue ou de comparer différentes situations culturelles.

Production
Le document peut servir de modèle discursif pour une activité de production : résumé, article, présentation orale.

Médiation
Dans une perspective inspirée du CECRL, les apprenants peuvent être amenés à expliquer ou reformuler le contenu du document pour un autre public.

Tâche ou projet
Enfin, le document peut être intégré dans une tâche plus complexe : préparer un dossier, réaliser une affiche ou organiser un débat.

Les documents authentiques dans la conception d'épreuves

Dans ma pratique, les documents authentiques ne servent pas seulement de supports d'activités en classe. Ils constituent aussi une source privilégiée pour la conception de sujets d'examen ou pour l'entraînement des candidats à différentes épreuves.

La presse jeunesse offre en effet des textes qui présentent plusieurs qualités recherchées dans l'évaluation :

– des textes relativement courts ;
– une structure claire ;
– la présence d'images et d'infographies ;
– des thèmes proches de l'univers culturel des adolescents.

Ces caractéristiques facilitent la construction d'épreuves de compréhension, de médiation, de résumé ou de reformulation.

Pour le concepteur d'épreuves, ces documents présentent un avantage supplémentaire : ils permettent de travailler à partir de discours authentiques, tout en conservant une difficulté linguistique relativement contrôlable.

En deux mots...

La presse jeunesse constitue ainsi un terrain d'équilibre intéressant entre authenticité du document et contrôlabilité de la difficulté, deux exigences importantes dans la conception d'une épreuve.

La presse jeunesse constitue un réservoir particulièrement riche de documents authentiques pour la classe de FLE. Elle offre des textes produits pour de véritables lecteurs francophones, souvent accessibles et visuellement riches.

Mais l'essentiel ne réside pas seulement dans le choix du document. L'intérêt didactique dépend surtout de la manière dont il est intégré dans une activité d'apprentissage : comprendre, discuter, reformuler, produire, expliquer à d'autres.

Autrement dit, ce n'est pas tant le document lui-même qui fait l'apprentissage que la tâche que l'on construit autour de lui.

Les magazines destinés aux jeunes lecteurs offrent à cet égard un compromis intéressant : ils permettent d'introduire dans la classe des textes authentiques, tout en restant suffisamment accessibles pour des apprenants encore en cours d'appropriation de la langue.

—

Bibliographie indicative

Besse, H. (1985). Méthodes et pratiques des manuels de langue. Didier.
Cuq, J.-P., & Gruca, I. (2017). Cours de didactique du français langue étrangère et seconde (4^e éd.). Presses universitaires de Grenoble.
Galisson, R., & Coste, D. (1976). Dictionnaire de didactique des langues. Hachette.
Germain, C. (1993). Évolution de l'enseignement des langues : 5000 ans d'histoire. CLE International.
Puren, C. (1988). Histoire des méthodologies de l'enseignement des langues. Nathan-CLE International.
Tagliante, C. (2006). La classe de langue. CLE International.

[1] Cette sélection repose sur des critères pédagogiques et éditoriaux (lisibilité des textes, structuration des articles, accessibilité des contenus). Elle ne procède d'aucun tri fondé sur l'orientation politique des médias mentionnés.

[2] Le document authentique bénéficie parfois d'un prestige excessif dans la littérature didactique. On le présente volontiers comme plus motivant ou plus efficace que les supports didactisés. Cette vision mérite pourtant d'être nuancée.

Un document n'est pas pédagogiquement pertinent parce qu'il est authentique. Il l'est seulement s'il est bien choisi et bien exploité. Un article peut être authentique mais trop dense, trop implicite ou trop marqué culturellement pour un public d'apprenants.

Inversement, un support légèrement adapté peut parfois permettre un travail pédagogique plus riche.

Il faut également éviter une autre confusion : l'authenticité du support ne garantit pas l'authenticité de l'activité. Un excellent article peut donner lieu à un questionnaire très pauvre. À l'inverse, une tâche bien construite peut transformer un document simple en activité communicative.

EuroMillions : oui au hasard. Concours : non, merci.

Olivier Delhaye — 2025-09-16T07:46:36Z

Un journal raconte qu'un Français a gagné deux fois un million d'euros à l'EuroMillions. C'est rarissime, mais ça arrive : le hasard existe.
Dans un concours ou un examen, on ne veut pas que le hasard décide du résultat. C'est pourquoi, après une épreuve à QCM, on analyse souvent les réponses apportées à chaque question : c'est l'analyse d'items.

Qu'est-ce qu'un « item » et pourquoi l'analyser ?

Un item, c'est une question du QCM. Après l'épreuve, on regarde :
– la difficulté : combien de candidats ont fourni la réponse attendue ;
– la discrimination : est-ce que la question différencie bien les candidats forts des candidats faibles ?
– les mauvaises réponses (distracteurs) : est-ce qu'elles attirent vraiment (> 5 % des candidats) mais pas trop (≤ 30 %) ceux qui n'ont pas la bonne compétence ?

Que faire si une question pose problème ?

Erreur évidente – Mauvaise clé ou ambiguïté manifeste
Il faut retirer la question pour tout le monde et recalculer la note.
(Ex. : discrimination négative ou quasi nulle : r_pb ≤ 0, difficulté extrême : p < 0,20 ou p > 0,90).

Question peu discriminante mais sans dysfonction
Il faut laisser en l'état cette fois-ci et réécrire ou améliorer la question pour la prochaine session.
(Ex. : discrimination faible : 0,10 ≤ r_pb < 0,20, ou difficulté très haute/basse : 0,20 ≤ p < 0,30 ou 0,85 < p ≤ 0,90).

Plusieurs questions problématiques
Il faut ajuster légèrement le seuil de réussite si plusieurs items sont exclus (par exemple, relever ou abaisser de 1–2 points sur 100 si plus de 5 % des questions ont été retirées), afin de rester équitable.

Pourquoi ne pas corriger « au cas par cas » ?

Corriger différemment selon les candidats serait injuste. On applique la même règle pour tous, et on annonce à l'avance comment on traitera ce genre de situations.

Comment s'assurer que les examens restent équitables d'une année à l'autre ?

– On doit garder un historique des résultats des questions (pour repérer si elles deviennent trop faciles parce que tout le monde les connaît).
– On compare les difficultés entre les groupes de performances mesurées pour qu'aucune partie du « programme » ne pèse trop lourd.
– On fait relire certaines questions par un collègue pour détecter des biais ou des ambiguïtés que les statistiques seules peuvent avoir relevés mais dont l'origine n'a pas été identifiée.

L'analyse d'items est un contrôle de qualité : on retire seulement les questions clairement défectueuses ou de difficulté extrême ; on garde les autres pour cette session mais on les améliore pour la suivante ; dans tous les cas, on garde des règles claires et les mêmes pour tout le monde. Ainsi, les concours restent justes et fiables : ils mesurent la compétence réelle et non un coup de chance… comme celle de notre joueur d'EuroMillions.

Hasard, loto et QCM

Gagner deux fois à l'EuroMillions peut sembler impossible…
Mais chaque tirage est indépendant. Après un premier gain, ta chance au second tirage reste exactement la même : environ une sur 139 millions. Le jeu ne « se souvient » pas que tu as déjà gagné.

Un QCM, c'est différent.

Une question à 4 choix : 1 chance sur 4 (25 %) de répondre juste au hasard.

– Deux questions de suite : on multiplie les chances (0,25 x 0,25 ≈ 6,25 %.)
– Trois questions : seulement 1,56 %.
– Dix questions : une chance sur plus d'un million.

Conclusion : remporter deux jackpots au loto reste peu probable mais constant d'un tirage à l'autre. Par contre, réussir plusieurs QCM au hasard devient exponentiellement plus difficile à chaque question supplémentaire.

QCM et lancer de dés : quand l'évaluation rencontre la probabilité

Olivier Delhaye — 2025-02-20T18:37:34Z

Dans la conception d'un questionnaire à choix multiple (QCM), une question cruciale se pose : combien de réponses proposer pour un item ? Combien d'items sont nécessaires pour évaluer une micro-compétence ? Et combien d'items au total doivent composer un examen ? Pour répondre à ces questions, nous pouvons partir d'une analogie mathématique simple : le lancer de dés.

Probabilité du double six : un cas exemplaire

Lorsqu'on jette deux dés, la probabilité d'obtenir un double six est de :

P_{(double six)} = 1/6 × 1/6 = 1/36

Autrement dit, une seule combinaison sur 36 aboutit à ce résultat. Si l'on répète plusieurs fois l'expérience, la probabilité de réaliser plusieurs double six de suite diminue de manière exponentielle :

P_{(deux double six consécutifs)} = (1/36)² = 1/1296

et ainsi de suite.

Inférence sur le nombre de propositions de réponse dans un QCM

Dans un QCM, le nombre de propositions de réponse joue un rôle similaire aux faces des dés. Si l'on propose quatre réponses par question, la probabilité de répondre correctement par pur hasard est de 1/4 (soit 25 %). Si l'on augmente le nombre de propositions à cinq, cette probabilité passe à 1/5 (soit 20 %), et ainsi de suite.

En évaluation, un QCM doit permettre de discriminer les connaissances réelles des candidats d'un simple hasard. Trop peu de propositions biaisent l'évaluation vers une réussite aléatoire, tandis qu'un trop grand nombre peut complexifier inutilement la tâche et détourner de l'objet d'évaluation initial. La littérature en psychométrie recommande souvent trois ou quatre propositions par question comme un bon compromis entre fiabilité et faisabilité [1] [2].

Nombre d'items pour évaluer une même micro-compétence

Dans une épreuve de FLE, par exemple, chaque item vise à mesurer une compétence spécifique (richesse lexicale, construction syntaxique de verbes, conscience interculturelle, compréhension globale d'un document, etc.). Si l'on ne pose qu'un seul item par micro-compétence, le risque de hasard est élevé, comme lorsqu'on tente d'obtenir un double six sur un unique lancer. Pour obtenir une mesure fiable, il faut multiplier les observations.

Une règle empirique, confirmée par la théorie des tests, indique qu'un minimum de trois à cinq items par micro-compétence est nécessaire pour lisser les effets du hasard et obtenir une mesure plus robuste [1] [3].

Combien d'items dans un examen QCM ?

Si un examen comporte 30 questions avec quatre réponses possibles chacune, la probabilité qu'un candidat réponde correctement à la moitié au moins des questions par pur hasard est de :

P_{(score ≥ 15)} = 0,00275 soit 0,27 %

Si le seuil de réussite n'est pas 15/30, mais 18/30 :

P_{(score ≥ 18)} = 0,00005 soit 0,005 %

Dans les deux cas, une probabilité quasiment nulle, ce qui garantit que la réussite à l'examen reflète bien une compétence réelle et non un simple coup de chance.

En pratique, une épreuve d'examen de FLE devrait comprendre au moins 30 items pour garantir une évaluation fiable [1].

Nombre d'activités et structuration d'un examen

Un QCM bien conçu ne se limite pas à une simple juxtaposition d'items. Il doit être structuré en plusieurs blocs d'activités cohérents, chacun évaluant une famille de compétences. L'examen doit comporter plusieurs groupes d'items (compréhension orale, compréhension écrite, conscience linguistique, médiation orale de l'écrit, etc.), contenant chacun un nombre suffisant d'items pour assurer une évaluation fiable. En général, chaque groupe, chaque épreuve, devrait idéalement contenir de 30 à 50 items [1]).

Format optimal d'un examen QCM

Pour des raisons de praticité, un examen comportant de 6 à 20 activités, composées chacune de 5 items proposant 3 ou 4 réponses dont une seule est correcte, revêt un format idéal.

Une seule et même compétence, 5 items, 4 propositions de réponses

Ce format 20 × 5 × 4 permet d'assurer un bon équilibre entre la validité de l'évaluation, la gestion du temps et la fiabilité des résultats [3] [4].

S'il s'agit d'activités d'appariement ou de distribution, il est bien sûr recommandé d'inclure une réponse supplémentaire non appariée (parfois appelée « distracteur en excès » ou « réponse leurre »). Cette technique permet d'éviter que les candidats puissent déduire les bonnes réponses par élimination et garantit une meilleure validité et une meilleure fiabilité des résultats.

Appariements avec réponse leurre

Effet du hasard sur le classement dans un concours

Lors d'un concours où 100 candidats sont classés en fonction de leur score, une question clé est de savoir si un candidat peut être mal classé uniquement en raison du hasard.

Supposons que l'examen soit composé de 20 activités, chacune contenant 5 items avec 4 propositions de réponse, et que les coefficients de discrimination des items soient suffisants.

Un candidat répondant totalement au hasard aurait en moyenne :

E_(score) = 20 × 5 × 1/4 = 25 réponses correctes sur 100

L'écart-type (la racine carrée de la variance) de cette distribution suit la loi binomiale :

σ = √ (100 × 1/4 × 3/4) ≈ 4,33

Ainsi, environ 95 % des candidats répondant au hasard obtiendraient un score compris entre 16 et 34 réponses correctes :

25 ± (2 × 4,33) ≈ [16 ; 34]

Si le score médian des candidats réellement compétents est largement supérieur à cette plage, la probabilité qu'un candidat répondant au hasard soit classé parmi les meilleurs reste très faible. Toutefois, si la variance des scores est réduite (c'est-à-dire si tous les candidats ont des résultats proches), alors l'effet du hasard peut devenir plus significatif.

Puisque les indices de discrimination des items influencent directement la dispersion des scores, un test composé d'items bien discriminants permet d'accroître la variance des scores et d'assurer une meilleure différenciation des candidats. Cela réduit la probabilité qu'un candidat soit classé de manière erronée uniquement par chance.

Conclusion

L'analogie avec la probabilité d'obtenir un double six met en lumière une réalité fondamentale de l'évaluation : un test fiable nécessite plusieurs observations indépendantes pour minimiser l'effet du hasard. Un bon QCM repose ainsi sur un équilibre entre le nombre de propositions de réponse, le nombre d'items par micro-compétence et la structuration en plusieurs activités/épreuves distinctes.

L'importance des indices de discrimination et de la variance des scores dans un concours montre également qu'un examen bien conçu permet d'assurer un classement juste et représentatif des compétences réelles des candidats, réduisant ainsi les effets du hasard sur les résultats finaux.

Grâce à cette approche, il est possible de concevoir des évaluations plus justes et plus pertinentes pour mesurer les compétences des apprenants en FLE.

[1] Rocher, T. (2015). Méthodes psychométriques utilisées dans le cadre des évaluations des élèves. Éducation & Formations, 86-87, 37-57.

[2] Cf. Combien de propositions de réponse dans un QCM : deux, trois, quatre ou plus ?

[3] Laveault, D., & Grégoire, J. (2014). Introduction aux théories des tests en psychologie et en sciences de l'éducation. De Boeck.

[4] Delhaye, O. (2023). Évaluation des savoirs et des compétences de communication en langue étrangère [Matériel de cours]. Université Aristote de Thessaloniki.

Μπορεί ένα τεστ πολλαπλής επιλογής να αποτυπώσει αξιόπιστα τις πραγματικές ικανότητες ενός υποψηφίου χωρίς να ευνοεί την τύχη ; Η ανάλυση της πιθανότητας – μέσα από την αναλογία με τη ρίψη δύο ζαριών – φωτίζει τον ρόλο που παίζουν ο αριθμός των επιλογών, ο αριθμός των ερωτημάτων και η δομή του τεστ στη μείωση του τυχαίου παράγοντα.

Η αξιοπιστία δεν εξαρτάται μόνο από το περιεχόμενο των ερωτήσεων, αλλά και από τη στατιστική τους συμπεριφορά : αριθμός επιλογών ανά ερώτημα, επάρκεια items ανά μικρο-δεξιότητα, συνολικός όγκος ερωτήσεων, δείκτες διακριτικής ικανότητας και διακύμανση των βαθμολογιών. Όσο αυξάνονται οι ανεξάρτητες παρατηρήσεις και βελτιώνεται η διακριτική ισχύς των ερωτημάτων, τόσο περιορίζεται η επίδραση του τυχαίου παράγοντα.

Ένα καλά σχεδιασμένο QCM δεν αποτελεί απλή συσσώρευση ερωτήσεων, αλλά οργανωμένο σύστημα μέτρησης. Μόνο υπό αυτές τις προϋποθέσεις μπορεί να εξασφαλιστεί δίκαιη κατάταξη και ουσιαστική αποτίμηση των γλωσσικών ικανοτήτων.

Combien de propositions de réponse dans un QCM : deux, trois, quatre ou plus ?

Olivier Delhaye — 2025-02-18T14:13:20Z

QCM est l'abréviation de « Questionnaire à Choix Multiples ». C'est un type d'évaluation où une question est suivie de plusieurs propositions de réponse, dont une seule est correcte (QCM à réponse unique) ou plusieurs peuvent l'être (QCM à réponses multiples).

Le format QCM est largement utilisé en éducation, en certification et dans les enquêtes car il permet :

une correction rapide et objective, notamment par des logiciels automatisés ;
une évaluation standardisée, assurant une meilleure comparabilité des résultats ;
une mesure fiable des connaissances et des performances sur un large éventail de sujets.

Il est parfois critiqué pour son potentiel biais de chance (réponses aléatoires) ou pour la difficulté à évaluer des compétences complexes comme la production écrite ou orale.
Le nombre de propositions de réponse dans un QCM influence directement la qualité de l'évaluation. L'objectif est de mesurer les performances tout en limitant les réponses aléatoires. Il est donc essentiel de trouver un équilibre entre pertinence et fiabilité. À cet égard, proposer quatre réponses apparaît comme le compromis optimal, et ce, pour plusieurs raisons.

Une meilleure différenciation entre les candidats

Les recherches en psychométrie [1] [2] montrent que trois ou quatre propositions suffisent à discriminer efficacement les niveaux de compétence. Avec seulement trois choix, la probabilité de répondre correctement par hasard reste toutefois importante (33 % contre 25 % avec quatre réponses), ce qui peut réduire la fiabilité du test. À l'inverse, avec cinq ou six choix, les distracteurs risquent d'être artificiels ou trop éloignés de la bonne réponse, compromettant ainsi la validité de l'évaluation [3].

Une charge cognitive optimisée

Lorsqu'un candidat répond à un QCM, il doit analyser les propositions, repérer les indices et sélectionner la meilleure réponse. Un excès de choix complexifie cette tâche et peut entraîner une surcharge cognitive, en particulier chez les apprenants moins expérimentés. Quatre propositions constituent un juste milieu, permettant un traitement efficace de l'information sans alourdir inutilement la réflexion.

Un gain de temps pour les concepteurs

Rédiger de bons distracteurs est une tâche exigeante : chaque proposition incorrecte doit être plausible sans être trompeuse et ne doit pas paraître manifestement erronée. Avec quatre réponses, le concepteur peut se concentrer sur la qualité plutôt que sur la quantité, en évitant d'ajouter des options superflues qui n'apportent aucune valeur à l'évaluation.

Une analyse statistique plus fiable

L'interprétation des résultats d'un QCM peut être brouillée si le nombre de réponses possibles est trop élevé. Avec quatre propositions, les indices de difficulté et de discrimination restent optimaux [4], rendant l'analyse des performances plus précise. De plus, ce format s'aligne sur les standards psychométriques, facilitant ainsi les comparaisons avec d'autres évaluations standardisées.

Préférer quatre propositions de réponse dans un QCM repose sur des fondements psychométriques et pédagogiques solides. Ce format garantit un équilibre optimal entre validité, fiabilité et praticité, tout en améliorant l'expérience d'évaluation des candidats et en facilitant la conception des tests pour les enseignants.

[1] Owen, S. V., & Froman, R. D. (1987). What's wrong with three-option multiple choice items ? Educational and Psychological Measurement, 47(3), 513-522.

[2] Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items : A meta-analysis of 80 years of research. Educational Measurement : Issues and Practice, 24(2), 3-13. https://doi.org/10.1111/j.1745-3992.2005.00006.x

[3] Caussarieu, A. (2023). Combien faut-il de propositions à un QCM ? [Résumé d'article scientifique]. Vous avez dit… dactique ? Des sciences.. https://ditdactique.hypotheses.org/1124

[4] Delhaye, O. (2023). Évaluation des savoirs et des compétences de communication en langue étrangère [Matériel de cours]. Université Aristote de Thessaloniki.

Pygmalion à l'école

Olivier Delhaye — 2025-02-13T22:00:00Z

Une simple croyance peut-elle influencer la réussite d'un élève ? L'expérience menée par Robert Rosenthal dans une école primaire américaine révèle que les attentes des enseignants ont un impact direct sur les performances scolaires des élèves. Un phénomène connu sous le nom d'effet Pygmalion, qui questionne notre manière d'enseigner et d'évaluer.

Avez-vous eu vent de cette ancienne mais célèbre expérience de psychologie scolaire menée aux États-Unis par Robert Rosenthal et rapportée dans son livre devenu classique : Pygmalion à l'école ?

Rapidement raconté sur TikTok ou sur YouTube, ça donne ceci :

<https://youtube.com/shorts/jpufGvKQ...>

Des psychologues se présentent donc à la rentrée scolaire dans une école primaire et expliquent au corps enseignant qu'ils vont appliquer aux élèves un test, dit « de Harvard », destiné à déceler, parmi les enfants, ceux dont les résultats scolaires risquent de progresser de façon importante dans l'année à venir.

Le test passé, les psychologues donnent aux instituteurs les listes des élèves ainsi susceptibles de progrès. Ils se gardent bien de révéler que ces listes ont été composées au hasard !

En fin d'année scolaire, les psychologues reviennent dans l'école et procèdent à de nouveaux tests classiques. Dans toutes les classes, les observations et les scores obtenus mettent en évidence la progression des résultats scolaires des enfants de la liste-bidon et une augmentation sensible de leur quotient intellectuel…

Rosenthal a ainsi démontré de façon scientifique que le regard posé par l'enseignant sur chacun des enseignés joue un rôle déterminant dans son acquisition de connaissances/compétences et dans ses résultats scolaires.

Ce texte est extrait de : Delhaye, O. (2023). Méthodologie de l'enseignement/apprentissage du français, langue étrangère. [Matériel de cours]. Université Aristote de Thessaloniki.

Pour en savoir plus : Rosenthal R., Jacobson L. (1971). – Pygmalion à l'école. L'attente du maître et le développement intellectuel des élèves. Casterman.

Comprendre, analyser et repenser les pratiques d'évaluation

Olivier Delhaye — 2024-12-07T10:04:34Z

L'évaluation, qu'elle soit formative, sommative ou institutionnelle, soulève de nombreuses interrogations chez les enseignants. Ce diaporama, présenté lors du 18^e Séminaire de rentrée au Pirée, propose des réponses concrètes pour surmonter les défis liés à l'évaluation des compétences en FLE.

Lors de sa conférence inaugurale au 18^e Séminaire de rentrée des professeurs de français, Olivier Delhaye, didacticien des langues et docimologue, a exploré les multiples facettes de l'évaluation. Ce diaporama met en lumière des sujets tels que les écarts inter-juges, la conception d'évaluations ponctuelles, et les biais dans l'interprétation des scores. Il aborde également des pistes novatrices, comme l'utilisation de la métacognition et des compétences générales pour transformer l'évaluation en un outil éducatif inclusif.

Accédez au diaporama et plongez dans les détails de cette réflexion en suivant ce lien : L'évaluation « dans tous ses états ».

Astuces pour un questionnaire à choix multiples plus efficace

Olivier Delhaye — 2022-03-22T05:36:28Z

L'intégration d'un questionnaire à choix multiples (QCM) dans les activités organisées dans le cadre d'un cours de Fle est soumise à quelques règles très simples.

Deux cas de figure devraient être considérés suivant que le QCM est intégré dans une activité

d'évaluation ou
d'apprentissage.

Dans le premier cas, des règles liées au soucis de fiabilité et de validité de l'évaluation doivent être ajoutées.

Voici une grille, assortie d'un barème, qui permet d'évaluer le QCM que vous êtes en train de construire ou ceux auxquels nous sommes parfois exposés :

Version téléchargeable :

Grille et barème pour l'évaluation d'un QCM

Olivier Delhaye

La docimologie

Olivier Delhaye — 2015-09-05T07:19:04Z

Dans toute formation, on évalue : avant, pendant, après. Et l'on évalue pour différentes raisons : pronostiquer, diagnostiquer, réguler, certifier.

En pratique, deux formes dominent : l'évaluation intermédiaire formative et l'évaluation finale sommative. La première sert à ajuster. La seconde sert à trancher. Entre les deux, il y a parfois un monde.

Une question posée en classe – « Réexplique-nous pourquoi il faut un infinitif » – relève de l'évaluation formative. Un examen final, une certification comme le PALSO-LAAS, relèvent de l'évaluation sommative.

Jusqu'ici, rien de controversé. Mais il faut aller plus loin.

Évaluer, c'est mesurer

On l'oublie trop souvent : évaluer, c'est mesurer. C'est comparer une production à une attente. Comparer un bonzourr à un bonjour. Et décider – explicitement ou non – à quel point l'un vaut l'autre.

Or toute mesure pose deux questions simples, mais redoutables : mesurer quoi ? mesurer comment ?

Mesurer quoi ?

On répond vite : « les objectifs ». Encore faut-il savoir de quels objectifs on parle.

Certains sont généraux, formulés dans une langue accessible à tous : « permettre à de jeunes adultes de communiquer dans la vie professionnelle ».

D'autres sont spécifiques, techniques, réservés aux spécialistes : « mobiliser des moyens linguistiques pour réaliser des actes de parole dans des situations données ».

Plus un objectif est précis, plus il devient mesurable. Plus il est mesurable, plus il devient… discutable. Car ce que l'on choisit de mesurer n'est jamais neutre.

Mesurer comment ?

Deux exigences structurent toute évaluation sérieuse : la fiabilité et la validité. La fiabilité, c'est la précision de la mesure. La validité, c'est sa pertinence. Autrement dit : mesure-t-on de manière stable ? mesure-t-on bien ce que l'on prétend mesurer ?

Dans la réalité, ces deux exigences sont constamment fragilisées. Imaginons une candidate. Son résultat dépend :

– de sa préparation, bien sûr,
– mais aussi de son état émotionnel,
– du comportement du surveillant,
– de la fatigue,
– du correcteur,
– du format de l'épreuve.

Autant de variables qui n'ont rien à voir avec la compétence visée.

La fiabilité est déjà entamée. La validité l'est tout autant.

Un test censé mesurer la compréhension de « décryptage de l'ADN » peut, en réalité, mesurer :

– une proximité linguistique avec le grec,
– un capital culturel,
– un environnement familial,
– un hasard de parcours.

On croit mesurer une compétence. On mesure un mélange.

Une illusion tenace

L'évaluation donne souvent une impression de rigueur. : des notes, des moyennes, des classements. Des chiffres qui rassurent.

Mais cette rigueur est parfois une illusion. Un test mal construit peut être très précis… dans l'erreur.

Peut-on vérifier la qualité d'un test ?

Oui, à condition de sortir du contenu et d'analyser la structure.

Par exemple : dans un QCM, les résultats aux items pairs et impairs devraient être comparables. Sinon, certains items sont défectueux.

Autre indicateur : si différentes épreuves mesurent des compétences distinctes tout en restant corrélées à une moyenne générale, alors le test tient – au moins partiellement – debout.

Mais ces analyses sont rarement pratiquées par les enseignants.

Conclusion

La docimologie est une discipline exigeante, à la croisée des sciences de la mesure (psychométrie, métrologie) et des sciences du langage et de l'apprentissage.
Elle oblige à poser des questions que l'on préfère souvent éviter :

– Que mesure-t-on réellement ?
– Avec quel degré d'erreur ?
– Et avec quelles conséquences pour les apprenants ?

Former des enseignants sans les former à la docimologie revient à leur confier un instrument de mesure… sans leur apprendre à s'en servir.

Et à faire comme si mesurer allait de soi.