Rapport

Une nouvelle méthode d’évaluation pédagogique, inspirée par des données massives

Des notes plus élevées en mathématiques ou en sciences indiquent-elles des notes plus élevées dans d’autres matières, comme la lecture et l’orthographe ? Et inversement, les notes plus élevées en lecture ou en orthographe sont-elles indicatives de notes plus élevées en mathématiques, par exemple ?

Ces questions font partie des nombreuses questions qui intéressent depuis longtemps les éducateurs et les psychologues, et la littérature sur ces sujets est abondante. Mais une question statistique naturelle se pose : que nous disent les données de la vie réelle, indépendamment des vœux pieux des développeurs de programmes d’études ? Avec un énorme ensemble de données brutes en sa possession, Hefei Gemei Culture and Education Technology Co. Ltd., une société de technologie éducative basée en Chine, a voulu explorer ces questions avec l’aide de statisticiens théoriques et qui analysent des données.

Traditionnellement, des corrélations mathématiques, telles que Pearson, intra-classe et Spearman, ont été utilisées dans de telles études pour décrire et analyser les associations dans les données. Mais l’utilisation de ces corrélations a présenté de sérieux problèmes lorsqu’il s’est agit d’évaluer les associations dans des données qui présentaient clairement des tendances non monotones et suggéraient la non-interchangeabilité des variables sous-jacentes (par exemple, les mathématiques peuvent affecter la lecture différemment de l’inverse).

Pour illustrer les problèmes qui nous sont posés par l’entreprise, nous pouvons penser à deux groupes d’étudiants qui apprennent deux matières (par exemple, les mathématiques et la lecture) en utilisant deux approches d’enseignement différentes ; appelons-les « traditionnels » et « modernes ». Les connaissances des élèves dans les deux matières sont testées, et les données appariées résultantes (mathématiques par rapport à la lecture) donnent lieu à deux nuages de points, qui sont ensuite comparés.

Comme c’est le cas dans la plupart des ensembles de données de la vie réelle avec lesquels nous avons travaillé, les nuages de points présentent des relations non linéaires et même non monotones entre les variables sous-jacentes, telles que les mathématiques et la lecture. Malgré ces relations non monotones, nous aurions néanmoins tendance à prétendre, sur la base d’une évaluation visuelle, que l’un des nuages de points présente un motif plus croissant que l’autre. Bien sûr, si les modèles étaient linéaires, alors nous pourrions étayer de telles affirmations en comparant les pentes des lignes droites sous-jacentes, mais que signifie un modèle « plus croissant » dans le cas de relations non monotones ? 

Pour mieux comprendre ces relations et modèles, et pour quantifier également leur manque de monotonie, dans un article récent, Yuri Davydov du Laboratoire Chebyshev en Russie et I (Ricardas Zitikis, Western University) a utilisé des idées géométriques et des considérations mathématiques qui ont donné lieu à des indices de (manque de) augmentation, qui sont des distances fonctionnelles des modèles non monotones observés - tels que ceux exposés par les nuages de points susmentionnés - de l’ensemble hypothétique de tous les modèles croissants. Par la suite, mon étudiant au doctorat Jiang Wu a poursuivi une collaboration sur ce sujet avec Hefei Gemei Culture and Education Technology Co. Ltd., soutenue par le Prix de partenariat Globalink de Mitacs.

Au cours du projet, Jiang a analysé des données éducatives massives et a développé un logiciel pour analyser ces données. À son retour au Canada, Jiang nous a fourni des commentaires (Dr Zitikis et Lingzhi Chen, étudiant au doctorat) qui nous ont permis d’affiner, de calibrer et de modifier les techniques existantes, et nous avons publié nos résultats dans la revue Education Sciences . Étant donné que les données chinoises originales analysées par Jiang restent exclusives, notre preuve de concept publiée a été réalisée à l’aide de données à petite échelle accessibles au public.

Le Globalink Partnership Award a joué un rôle central dans la mise en relation de l’industrie avec le Zitikis Research Group, qui travaille, entre autres projets de conseil, sur les problèmes de mesure et d’évaluation de l’éducation. Le groupe s’est depuis élargi et, en plus de Jiang et de Lingzhi, il comprend maintenant un groupe diversifié de professeurs au Canada et dans le monde entier. Nous nous attendons à ce que le groupe se développe encore plus, compte tenu de l’intérêt de notre partenaire de l’industrie à poursuivre ses recherches, et en raison d’une multitude de problèmes mathématiques, statistiques et probabilistes intéressants et difficiles qui ont surgi à la suite de ce projet. 

Avatar
Mitacs

Mitacs donne des ailes à l’innovation canadienne grâce à des partenariats efficaces qui débouchent sur des solutions à nos problèmes les plus pressants. En favorisant la croissance économique et la productivité, nous produisons des changements concrets pour améliorer la qualité de vie de l’ensemble de la population canadienne.