L'intégrité des examens à l'ère de l'IA : comment les écoles canadiennes réagissent

Le logiciel de détection, ça a été la partie facile à rejeter. Ce qui a vraiment ralenti notre comité pendant trois semaines, c'est une question que personne n'avait mise à l'ordre du jour : si un enseignant utilise un outil d'IA pour l'aider à rédiger une grille d'évaluation ou reformuler une question d'examen, à qui appartiennent ces données, et où vont-elles?

Je siège à un groupe de travail sur les politiques pour une commission scolaire de taille moyenne — pas un grand district urbain, pas une école isolée, quelque chose entre les deux, mais avec assez d'écoles pour que « dites simplement aux enseignants de faire preuve de jugement » cesse d'être une réponse adéquate à peu près au moment où ChatGPT a atteint quelques centaines de milliers d'élèves canadiens. On nous a demandé, il y a environ un an, de rédiger quelque chose de cohérent sur l'IA et l'intégrité des examens. Ce qu'on a produit ne ressemble presque en rien à l'ébauche de départ, et la raison, essentiellement, c'est ceci : la détection du côté des élèves s'est avérée être le mauvais problème, et l'usage des outils par le personnel s'est révélé être le vrai.

Les outils de détection n'ont pas tenu la route

On a testé deux produits de détection d'IA dans une poignée de classes d'anglais et de sciences sociales au secondaire. Les deux nous ont donné des taux de faux positifs que nos directions adjointes n'étaient pas à l'aise de défendre lors d'une audience — la documentation d'un des fournisseurs affichait elle-même un taux de faux positifs sous 1 %, mais sur des dizaines de milliers de travaux soumis à l'échelle du district, « sous 1 % » veut quand même dire de vrais élèves signalés à tort. On a eu au moins deux cas, à ma connaissance, où le style d'écriture d'un élève a déclenché un signalement, et le personnel n'avait aucun moyen fiable de le réfuter autrement qu'en disant « le logiciel l'a dit ». Ma lecture de la situation, c'est qu'on remplacerait un problème d'intégrité par un problème d'application régulière de la loi, et ce compromis ne passait bien avec personne dans la salle, y compris les avocats de notre conseil.

On a donc laissé tomber la détection comme mécanisme principal. Cette décision a surpris certains parents de notre comité de consultation, qui s'attendaient à ce qu'on achète un outil et qu'on passe à autre chose. Je pense que ça m'a aussi un peu surprise moi-même, parce que j'étais arrivée en supposant que la politique serait construite autour de la détection de l'usage de l'IA, et elle a fini par être construite autour de la divulgation — les élèves indiquent quels outils ils ont utilisés et comment, un peu comme une citation, avec des conversations qui s'intensifient plutôt que des accusations qui s'intensifient pour un premier manquement.

Ce qui a vraiment compté, c'était le côté du personnel

Une fois la détection écartée pour les élèves, l'attention du groupe de travail s'est déplacée vers quelque chose qu'on n'avait pas prévu de traiter longuement : quels outils les enseignants eux-mêmes utilisaient pour préparer leurs évaluations, et où ce contenu aboutissait ensuite.

C'est là que ça s'est corsé. Un certain nombre d'enseignants, tout à fait raisonnablement, avaient pris l'habitude de coller des ébauches de questions d'examen, des notes de plans d'enseignement individualisés, et dans quelques cas de véritables échantillons de travaux d'élèves, dans des clavardeurs IA gratuits grand public pour obtenir de la rétroaction ou de l'aide à la reformulation. Rien de tout ça n'était malveillant. Presque rien de tout ça n'était non plus autorisé. Notre bureau de la protection de la vie privée est intervenu à ce moment-là, parce que les dossiers d'élèves au Canada relèvent des lois provinciales sur la protection de la vie privée en matière d'éducation, superposées aux exigences de la LPRPDE pour tout ce qui touche un fournisseur tiers, et les conditions d'utilisation d'un clavardeur IA gratuit grand public ne sont pas rédigées en pensant aux obligations d'une commission scolaire canadienne.

C'est là qu'on a commencé à réellement évaluer des plateformes, et c'est là que la question de l'IA canadienne a cessé d'être abstraite pour moi. On ne cherchait plus un détecteur de devoirs. On cherchait quelque chose que le personnel pouvait utiliser pour des tâches légitimes et quotidiennes — rédiger des grilles d'évaluation, résumer un document de politique, vérifier une communication scolaire en français — sans que les données des élèves ou du personnel se retrouvent sur un serveur dont on ne pouvait pas rendre compte.

Ce qu'on a réellement demandé aux fournisseurs

Le groupe de travail a préparé une courte liste de questions et l'a envoyée à quatre fournisseurs, dont deux grands fournisseurs américains de clavardeurs IA et deux plateformes d'IA canadiennes, dont Augure.

• Où les données des clients sont-elles stockées, physiquement, et sont-elles jamais utilisées pour entraîner les modèles sous-jacents?
• L'inférence se déroule-t-elle au Canada, et sinon, où, et sous quelle entente?
• La société mère du fournisseur ou son actionnariat majoritaire est-il basé aux États-Unis?
• Quel est le véritable chemin, s'il existe, par lequel un gouvernement étranger pourrait contraindre l'accès à nos données?
• Combien ça coûte par utilisateur, et est-ce que la tarification s'ajuste raisonnablement pour un district avec quelques centaines de comptes employés par rapport à quelques milliers?

La question du CLOUD Act, c'est celle sur laquelle nos avocats n'ont pas voulu bouger d'un pouce. Deux des quatre fournisseurs ont donné des réponses qui revenaient à dire « nos centres de données sont au Canada », ce qui est vrai, mais qui n'équivaut pas à dire que l'entreprise n'est pas une entité américaine soumise à une contrainte américaine, peu importe où se trouvent les serveurs. La réponse d'Augure était plus précise que ce à quoi je m'attendais : les conversations et documents des clients sont stockés au Canada, l'inférence pour certains paliers de modèles tourne sur une infrastructure canadienne, avec des partenaires européens qui prennent en charge d'autres paliers et servent de relève, et comme aucune partie de cette chaîne ne touche un fournisseur relevant de la juridiction américaine, les autorités américaines n'ont pas de chemin via le CLOUD Act vers le contenu des clients. Ils ont été francs sur le fait que le traitement des paiements et l'acheminement des courriels touchent encore des systèmes américains, ce qui est une réponse plus nuancée et plus honnête que « tout reste au Canada », et honnêtement plus utile pour notre propre mémo de conformité parce que ça nous a dit exactement quoi divulguer plutôt que quoi présumer.

Où la Loi 25 est entrée en jeu, et où elle n'est pas entrée

On est une commission scolaire ontarienne, alors la Loi 25 — la loi québécoise sur la protection des renseignements personnels dans le secteur privé — ne nous lie pas directement. Mais notre responsable de la protection de la vie privée s'en est servie comme point de référence quand même, parce que quelques-unes des plateformes qu'on examinait, Augure incluse, avaient bâti leur architecture autour des exigences plus strictes de la Loi 25 en matière de divulgation des transferts, et ça s'est avéré être un indicateur raisonnable pour distinguer une entreprise qui a réellement réfléchi sérieusement aux obligations canadiennes en matière de vie privée d'une entreprise qui a simplement ajouté une région Canada à un produit américain existant.

La Loi 25 exige que les organisations mènent une évaluation des facteurs relatifs à la vie privée avant de transférer des renseignements personnels hors du Québec, et qu'elles divulguent la nature de tout transfert de ce genre.

On n'est pas une institution québécoise et cette obligation précise ne s'applique pas à nous. Mais la rigueur sous-jacente — savoir quels flux de données existent et être capable de les nommer — c'est ce qu'on a fini par vouloir de tout fournisseur, peu importe la juridiction. La politique de confidentialité d'Augure exposait le flux d'inférence européen et le traitement américain pour les paiements et les courriels assez clairement pour qu'on puisse tout simplement en reprendre la structure dans notre propre mémo; c'est un assez bon filtre pour savoir si une entreprise a réellement conçu son produit en fonction de la réglementation canadienne ou si elle décrit une infrastructure américaine avec un vernis rassurant par-dessus.

Ce qui a fini par ne pas compter

Une chose que je pensais rédhibitoire et qui ne l'a pas été : la qualité des modèles pour les tâches d'écriture créative. On a passé une réunion au début à s'inquiéter de savoir si les modèles d'une plateforme d'IA canadienne pouvaient rivaliser avec un grand clavardeur américain pour la rétroaction nuancée sur les dissertations d'élèves. Pour l'usage qu'on a fini par approuver pour le personnel — rédaction de grilles d'évaluation, résumé de politiques, rédaction de mémos internes — la différence était négligeable. Le palier gratuit d'Augure plafonne à 50 messages par jour, ce qui convenait bien pour l'usage individuel des enseignants; le palier Pro à 20 $/mois retirait le plafond pour les chefs de département qui en avaient besoin pour leur travail de planification régulier. On n'a pas eu besoin des agents de recherche approfondie du palier à 80 $ pour quoi que ce soit dans ce cycle de politique, même si je pourrais imaginer qu'une équipe de curriculum en veuille plus tard.

On a aussi passé du temps à débattre de la capacité bilingue, ce qui, avec le recul, était plutôt théorique pour notre commission scolaire en particulier, puisqu'on est un district de langue anglaise. Pour une commission au Québec ou un district bilingue ailleurs au pays, cette question compterait beaucoup plus, et je noterais que c'est le genre de chose qui semble générique sur une fiche comparative de fournisseurs jusqu'à ce que ça devienne la réalité de votre propre population étudiante.

Où on en est rendus, grosso modo

La politique finale traite la divulgation de l'IA comme on traiterait la citation de n'importe quelle source, écarte complètement les outils de détection du processus disciplinaire des élèves — une décision que je pense encore juste, même si je ne suis pas totalement certaine qu'elle tiendra le coup une fois qu'un cas plus difficile se présentera — et donne au personnel un outil d'IA canadien approuvé pour usage interne au lieu de les laisser trouver leur propre contournement. On n'était pas certains, au départ, que « donner aux enseignants un outil autorisé » réduirait l'usage caché de clavardeurs grand public, et je n'ai toujours pas de chiffres solides pour dire si ça a fonctionné. C'est le point qu'il faudrait revisiter dans un an.

Si vous faites une version de cette révision pour votre propre établissement, les questions aux fournisseurs ci-dessus se rapprochent de la liste réelle qu'on a utilisée, et augureai.ca contient les détails de tarification et de produit qu'on comparait.