L’évaluation de demain

Article Article

Bientôt, évaluation rimera avec simulation. Une nouvelle science est en train de se répandre : la « dossimulogie », soit la docimologie appliquée à la simulation. Pascal Staccini, inventeur du néologisme, explique l’évidence de cette approche.

L’évaluation de demain

Avant, les examens en médecine ressemblaient à ça : « Vous jouez pour le camembert marron, gastroentérologie. Quelle pathologie évoquez-vous devant une diarrhée survenant après un traitement antibiotique ? Choix A : … ».

Mais dans un avenir proche, ils ressembleront plutôt à ça : un jeu sérieux avec, par exemple, un patient-avatar dans un environnement médical et une horloge derrière, le curseur de la souris sur une liste d’items : « faire un ECG » (10 min), « faire une radio de thorax » (30 min), « ausculter le patient » (5 min), « faire un scanner thoracique » (1 h 30)…

Pascal Staccini, chef de service du Département d’information et d’informatique médicale au CHU de Nice, a inventé le mot-valise « dossimulogie », de docimologie (1) et simulation, en 2016 avec le Pr Jean-Christophe Granry.

(Cliquer sur l'image pour agrandir)

L’idée était de réfléchir à de nouvelles méthodes d’évaluation qui soient en adéquation avec les nouvelles techniques d’enseignement ; la simulation pouvant se positionner à la fois comme méthode d’apprentissage et comme mode d’évaluation. « Les schémas pédagogiques se modifient ; on le voit par exemple à l’école primaire où les notes disparaissent au profit des compétences » souligne le Pr Staccini. « Pendant longtemps les étudiants en médecine ont été évalués derrière une table sous forme de Trivial Pursuit. On comprend maintenant que le plus important n’est pas de savoir quelque chose, mais d’avoir une méthodologie, des outils, qui permettent de trouver une solution à un problème ».

Pour le professeur geek féru de pédagogie, le développement des outils numériques ouvre de nouveaux horizons docimologiques. « Avec les ECNi nous avons revu la docimologie des cas cliniques traditionnels : ainsi les dossiers sont progressifs, on ne peut pas revenir à une question répondue, les questions sont indépendantes et si des informations doivent être apportées elles le sont au fur et à mesure. Les Américains, eux, ont mis en place des consultations standardisées un peu sur le modèle de l’ECOS (examen clinique objectif structuré (2)), utilisant des patients virtuels. »

Exploration du raisonnement

Les attentes vis-à-vis des jeunes médecins se sont modifiées et la difficulté aujourd’hui est de trouver comment concilier ces objectifs de savoir-faire et de savoir-être avec les problématiques d’évaluation et de classement. La pédagogie dans les études de médecine est en train d’être repensée, fortement inspirée des États-Unis et du Canada où la simulation est utilisée depuis longtemps dans les évaluations, en formation initiale et dans les accréditations en formation continue.

Les différentes formes de simulation permettent d’évaluer à la fois les gestes techniques et les procédures (mannequins procéduraux, serious games), les comportements, le relationnel (ECOS, jeux de rôles), l’organisation en équipes (STAT, Simulation Team Assessment Tool)…

Plus les évaluations collent à la réalité, plus elles sont pertinentes. « Il existe une métrique derrière la docimologie : le degré de certitude, le pouvoir de discrimination. Nous travaillons par exemple sur les tests de concordance de scripts, qui sont des outils d’évaluation des connaissances et du raisonnement dans un contexte d’incertitude. On n’est pas sur de la connaissance pure, mais sur de l’exploration du raisonnement, une approche par problèmes » explique Pascal Staccini.

Le principe des tests de concordance de scripts (3) est d’analyser une situation clinique, puis lorsqu’une nouvelle donnée arrive, de répondre à la question : par rapport à votre hypothèse initiale, cette nouvelle information va-t-elle modifier votre démarche ? La grille de réponse allant de -2 : hypothèse quasiment éliminée à +2 : hypothèse pratiquement certaine. Ils permettent de tester l’organisation des connaissances, et évaluent une capacité plus proche de la vie réelle à résoudre un problème pour lequel il n’existe pas une réponse consensuelle uniciste, contrairement aux tests de connaissances pures. Cette particularité les rend plus difficiles à réaliser, mais beaucoup plus utiles pour évaluer les compétences qui serviront dans la pratique médicale.

(1) Docimologie : Science des examens et des concours, étude de la qualité et de la validité des différents systèmes de notation scolaire et de contrôle des connaissances (définition du Centre national de ressources textuelles et lexicales).
(2) Il s’agit de tester les performances des compétences cliniques telles que communication, examen physique, procédures médicales, prescription, techniques de manipulation et interprétation des résultats. Chaque candidat est examiné suivant un circuit à plusieurs étapes. Certaines utilisent des patients simulés (acteurs) ou réels. Chacune s’organise avec un ou deux examinateurs différents. Tous les candidats réalisent les mêmes étapes. Elles sont normalisées, permettant ainsi la comparaison entre candidats.
(3) Pour plus d’informations sur les tests de concordance de scripts : Le test de concordance de script en 20 questions, Didier GIET, Valérie MASSART, Robert GAGNON et Bernard CHARLIN ; Pédagogie médicale 2013 ; 14 (1): 39–48.

Photo : Faculté de médecine de Nancy

Les gros dossiers

+ De gros dossiers