Une nouvelle méthode d’évaluation pédagogique, inspirée par des données massives

11/21/2017
Par Lingzhi Chen, Jiang Wu et Ricardas Zitikis

De meilleures notes en mathématiques et en sciences sont-elles révélatrices de meilleures notes dans d’autres matières comme la lecture et l’orthographe? Et, en revanche, de meilleures notes en lecture et en orthographe sont-elles révélatrices de meilleures notes en mathématiques, disons?

Ces questions sont parmi les nombreuses interrogations qui intéressent les éducateurs et les psychologues depuis longtemps, et la littérature à ce sujet est abondante. Mais cela soulève une question naturelle d’ordre statistique : que racontent les données empiriques, peu importe les vœux pieux des développeurs de programmes pédagogiques? Détenant un immense ensemble de données brutes, Hefei Gemei Culture and Education Technology Co. Ltd., une compagnie de technologie éducative de la Chine, voulait se pencher sur de telles questions avec l’aide de statisticiens qui étudient la théorie et analysent des données.

Traditionnellement, les corrélations mathématiques comme celles de Pearson, de l’intra-classe et de Spearman ont servi dans de telles études pour décrire et analyser les liens entre les données. Mais l’utilisation de ces corrélations présentait de sérieux problèmes lorsqu’il s’agissait d’évaluer les liens entre des données exposant clairement des représentations non monotones et suggérait plutôt la non-interchangeabilité des variables sous-jacentes (par exemple, les mathématiques pourraient avoir une incidence différente sur la lecture plutôt que l’inverse).

Pour illustrer les problèmes avancés par la compagnie, nous pourrions penser à deux groupes d’étudiants à qui deux matières sont enseignées (par exemple, les mathématiques et la lecture) à l’aide de deux approches pédagogiques différentes; appelons-les « traditionnelle » et « moderne ». Les connaissances des étudiants sur les deux matières sont évaluées et les données couplées obtenues (mathématiques versus lecture) donnent lieu à deux diagrammes de dispersion qui sont ensuite comparés.

Comme dans la plupart des séries de données empiriques avec lesquelles nous avons travaillé, les diagrammes de dispersion présentent des rapports non linéaires et non monotones entre les variables sous-jacentes, telles que les mathématiques et la lecture. Malgré ces rapports non monotones, nous serions néanmoins tentés d’affirmer, d’après une évaluation visuelle, qu’un des diagrammes de dispersion illustre une représentation plus croissante que l’autre. Évidemment, si les représentations étaient linéaires, nous pourrions alors appuyer de telles affirmations en comparant les pentes des lignes droites sous-jacentes, mais que signifie une représentation « plus croissante » dans le cas des rapports non monotones? 

Afin de mieux comprendre de tels rapports et représentations, et pour quantifier leur manque de monotonie, dans un récent article, Yuri Davydov du Chebyshev Laboratory en Russie et moi (Ricardas Zitikis, Université Western) avons utilisé des connaissances géométriques et des considérations mathématiques qui ont donné lieu à des indices (du manque) d’augmentation, qui sont des distances fonctionnelles des représentations non monotones observées — comme celles produites dans les diagrammes de dispersion mentionnés ci-dessus — à partir de l’ensemble hypothétique de toutes les représentations croissantes. Par la suite, mon étudiant au doctorat, Jiang Wu, a poursuivi sa collaboration sur ce sujet avec Hefei Gemei Culture and Education Technology Co. Ltd., avec le soutien de la Bourse de partenariat Globalink de Mitacs.

Pendant le projet, M. Wu a analysé des données massives relatives à l’éducation et a conçu un logiciel pour l’analyse de telles données. À son retour au Canada, il nous a fourni des commentaires (M. Zitikis et Mlle. Lingzhi Chen, étudiante au doctorat) qui nous ont permis de retravailler, calibrer et modifier les techniques existantes, et nous avons publié nos résultats dans la revue Education Sciences. Puisque les données chinoises originales analysées par M. Wu restent sa propriété, la publication de notre validation de principe a été accomplie à l’aide de données à petite échelle disponibles publiquement.

La Bourse de partenariat Globalink a joué un rôle central pour faire le pont entre l’industrie et le groupe de recherche Zitikis, qui travaille, entre autres, sur des projets de consultation, sur les problèmes liés à la mesure et à l’évaluation pédagogiques. Le groupe s’est élargi depuis et, en plus de Mlle. Chen et M. Wu, inclus maintenant une équipe diversifiée de professeurs au Canada et dans le reste du monde. Nous nous attendons à ce que le groupe croisse encore plus, compte tenu de l’intérêt de notre organisme partenaire pour la réalisation de recherche supplémentaire, et en raison d’une multitude de défis intéressants et difficiles d’ordre mathématiques, statistiques et probabilistes qui sont survenus du fait de ce projet. 

 

 

 


Contact pour les médias
 

Heather Young
Directrice, Communications
Mitacs
hyoung@mitacs.ca
604-818-0020