Mesurer le succès d'un MOOC : mission impossible ?

Comment mesure-t-on le succès d'un MOOC ? Au nombre d'inscrits ? A la proportion de personnes qui obtiennent le certificat final ? A l'impact médiatique ? Vaste débat qui agite la communauté moocophile depuis quelques temps déjà, en particulier dans le secteur privé où le problème des retours sur investissement est fondamental. Quelques réflexions sur une question qui n'appelle pas de réponse simple.

En première instance, on aurait tendance à répondre sans hésiter : le nombre d'inscrits. Un MOOC qui a du succès, c'est un MOOC qui réunit des dizaines de milliers d'inscrits. Mais les MOOC conçus dans la langue de Molière sont alors pénalisés mathématiquement de par la taille plus réduite du public francophone. Rares sont ceux qui dépassent les 20.000 inscrits, le MOOC du CNAM « Du Manager au Leader » représentant l'une des rares exceptions, tandis que leurs cousins anglophones organisés sur Coursera dépassent en général les 50.000 inscriptions. D'ailleurs, le seul MOOC français à avoir franchi ce cap (Centrale Paris, On strategy : What Managers Can Learn from Great Philosophers)  était dispensé en anglais. Premier accroc donc, il faudrait générer un classement par langue d'enseignement. Et par ailleurs, n'oublions pas que les inscriptions ne signifient pas toujours grand-chose. Le no-show - les participants qui s'inscrivent au cours sans jamais y mettre les pieds - peut atteindre des proportions déraisonnables. Parfois plus de la moitié des inscrits.  Entre un MOOC A 20.000 inscrits et 50% de no-show, et un MOOC à 15.000 avec 10%, quel est celui qui a le plus de succès ? Le second, cela va sans dire. Et quid de ceux qui ne vont pas plus loin que la première vidéo et qui sont parfois comptabilisés à tort dans les participants actifs ?

Un MOOC n'est pas université

Pour pallier  ce problème, certains retiennent comme indicateur de référence le taux de certification, c'est-à-dire la proportion des inscrits qui obtiennent le certificat, ou qui vont au bout de la formation. Ce taux varie entre moins de 1% et près de 50%, et peut être biaisé de diverses manières, et ce dès l'étape de recrutement des participants. Il suffit d'avoir un processus d'inscription complexe pour ne sélectionner de fait que les plus motivés, et augmenter ainsi les taux de certification. A l'inverse les grandes plates-formes américaines comme Coursera, particulièrement visibles, draineront un grand nombre de curieux pas nécessairement déterminés à terminer le cours ; elles tireront donc le nombre d'inscrits vers le haut, et les taux de certification vers le bas. Faudra-t-il pour autant conclure que le cours est un échec parce que les taux de certification sont bas ?

Quand on compare les taux de certification des MOOC, en général inférieurs à 10%, à ceux d'une formation traditionnelle, il n'y a pas de quoi se gausser. Nombreux sont ceux qui font le raccourci en disant qu'au vu de ces chiffres, le numérique n'est pas près de remplacer le cours en amphi. Une conclusion hâtive. Cela n'a aucun sens de comparer le contexte du MOOC, gratuit, dont les certificats sont peu reconnus, issu d'une démarche personnelle et suivi sur son temps libre, à celui de la formation avec diplôme ou certificat reconnu à la clef, et temps de travail dédié. Par ailleurs, la plupart des personnes s'inscrivent davantage par curiosité, pour leur culture personnelle, pour monter en compétence, que pour obtenir un certificat à la clef.

Des certificats inégaux

Alors, dira-t-on qu'un MOOC avec un taux de certification de plus de 15% a trois fois plus de succès qu'un MOOC avec 5% de certification ? Connaissez-vous le MOOC de Princeton sur l'histoire du monde depuis 1300 ? Des centaines de milliers d'inscrits, dont moins de 1% décident de rendre les dissertations demandées. La plupart, et j'en fais partie, se contentent de passer tout leur temps à regarder les vidéos de cours, passionnantes au demeurant. Et ce serait un échec à cause de la faible participation aux activités ? Dans le métier, on s'accorde en général pour dire que le taux de certification bruts n'a que peu de sens, et qu'il faut prendre comme base de calcul uniquement les personnes qui ont manifesté leur intention d'obtenir le certificat, par exemple en rendant un devoir ou en participant d'une manière ou d'une autre à une activité évaluée. Mais là encore, il existe toujours une source de biais, magistrale celle-là, à savoir le niveau de difficulté du certificat.

Pour peu que les exercices nécessaires à son obtention soient à la portée du premier quidam venu, les taux de certification ne sont pas comparables d'un MOOC à l'autre. Entre amis moocophiles, nous nous amusions parfois sur Coursera à chercher à obtenir le certificat sans même regarder les vidéos, en passant une ou deux heures sur les examens finaux. Cela ne marche pas tout le temps bien sûr, mais quand le certificat est basé à 100% sur des QCM et que ceux-ci ont été conçus à la va-vite, c'est jouable. Il suffit alors de brader le certificat en diminuant la difficulté des exercices pour pouvoir se targuer de taux certiDfication supérieurs à la moyenne. D'autant que dans l'univers MOOC, il existe autour des questions d'évaluation un flou artistique propice au développement de telles pratiques. Comment peut-on comparer entre eux des taux de certification quand un certificat nécessite deux heures de travail et l'autre cinquante ?

Jusqu'au bout du MOOC

Par ailleurs, qui a dit que les MOOC avaient vocation à obtenir de forts taux de certification ? Et si l'idée était au contraire de pouvoir détecter les éléments les plus motivés, les plus déterminés. La crème de la crème des MOOCeurs, capables d'aller sans ciller au bout d'un parcours du combattant, prenant sur son temps libre, ses week-end, sa vie de famille pour aller jusqu'au bout d'un cours ? Après tout, la réputation des grandes écoles n'est-elle pas directement corrélée à la sélectivité de leurs concours d'entrée ? Il pourrait en aller de même pour les MOOC, si telle devenait leur fonction.

Je ne partage donc pas l'avis de tous mes collègues et je pense que le taux de certification - même une fois corrigé par le nombre de participants actifs - ne représente pas un indicateur du succès du MOOC très fiable. Ou en tout cas, il n'a que peu de sens pris seul. Il faut à mon avis s'intéresser également aux valeurs absolues et non seulement aux pourcentages. Combien de personnes vont jusqu'au bout ? Si vous avez 20.000 inscrits et que 10% vont au bout, cela fait 2000 personnes, ce qui est mieux que 5.000 inscrits avec 20% de réussite, qui ne font que 1.000 personne. Le problème, c'est que ce nombre n'a que peu de signification pris seul et il faut le replacer dans son contexte.

Raisonner en "parts de marché"

Dans le cadre du MOOC « Monter un MOOC de A à Z » que j'ai organisé avec quelques collègues sur France Université Numérique, nous avons eu un peu plus de 4500 inscrits, mais il n'y a guère plus d'une centaine de personnes pour avoir proposé leur projet de MOOC, dont à peine plus de la moitié aura été jusqu'au bout de la formation. Si on raisonne en termes de taux certification brut, cela fait du 2% environ, et environ 60% si on raisonne en taux de certification corrigé par le nombre de personnes actives. Un échec ? Si l'on prend en compte le fait qu'il n'y a en tout et pour tout qu'une cinquantaine de « vrais » MOOC dans la francophonie, 50 projets proposés, c'est loin d'être négligeable, quand bien même seule une fraction de ces projets irait jusqu'au bout de la démarche.

Par ailleurs, il faut voir que les formations à la création de MOOC sont presque inexistantes. En quelque sorte, sur le terrain de la francophonie, ce MOOC occupe une partie importante du terrain de la formation à la conception de MOOC. Des ressources en libre accès pour faire des MOOC, il y en a un certain nombre, mais information n'est pas formation. Pour mesurer le succès d'un MOOC, il faudrait donc en quelque sorte raisonner en « parts de marché », même si le terme n'est pas vraiment approprié dans la mesure où l'essentiel de la formation est gratuite. Sur le domaine de formation sur lequel vous voulez vous positionner, quelle est la proportion des gens qui se forment via votre MOOC ? Après, je ne dis pas que c'est forcément facile à quantifier, mais cela permet de prendre en considération le fait que tous les sujets n'ont pas vocation à attirer les foules ; il faut donc raisonner en termes de niches d'apprentissage.

Difficile de prévoir

Enfin, le succès d'un MOOC se mesure également à la satisfaction des participants, et à la qualité globale de leurs productions, toutes choses qui ne sont pas aisément mesurables par ailleurs. Nous y reviendrons. Entre le nombre d'inscrits, le nombre de certifiés, les taux de certifications corrigés, les « parts de marché » détenues par le MOOC, la satisfaction des participants et la qualité de leur travail, ce ne sont pas les indicateurs qui manquent pour mesurer le succès d'un MOOC. Il est à mon sens probablement préférable de fonder ses analyses sur une batterie d'indicateurs plutôt que sur un seul, pour atténuer l'impact de possibles biais de mesure.

Pour conclure, nous nous sommes concentrés sur la question du succès d'un MOOC, mais celui-ci n'est pas nécessairement directement lié à sa qualité. Si on imagine mal une formation de mauvaise qualité percer sur la toile, il est en revanche tout à fait possible pour un MOOC bien scénarisé et avec des ressources très bien faites de ne pas réussir à décoller, pour n'avoir pas su se rendre suffisamment visible par exemple. Mais comment mesure la qualité d'un MOOC ? C'est une toute autre paire de manches.