Créé en 2005 à
l'image des campagnes TREC et MUC, le DÉfi
Fouille de Textes est une campagne d'évaluation
francophone qui propose chaque année de
confronter les méthodes de plusieurs
équipes de recherche sur une thématique
régulièrement renouvelée.
Dans la continuité de
l'édition 2021, cette nouvelle
édition du défi portera sur la correction
automatique de copies électroniques
d'étudiants (du type questionnaires sous
Moodle). Le corpus utilisé se compose
d'énoncés en informatique
(programmation web et bases de données) avec
la correction de l'enseignant, et
des réponses produites par des
étudiants. Cette deuxième édition sur le
français permettra une com- paraison des
résultats obtenus par les participants de
l'année passée et l'étude de
l'évolution des méthodes
employées.
Tâche de base
- Comme pour DEFT 2021, une tâche consistant
à prédire la note de réponse
d'étudiant à une question d'après
une référence existante. Le corpus
d'entraînement de DEFT 2022 se compose des corpus
d'entraînement et de test de l'édition
2021. Le corpus de test 2022 est nouveau, mais il reste
similaire du point de vue du contenu.
- Extrait du fichier trainT2-Q.tab (fichier de questions)
ID question | Note max | Numéro | Question (format HTML) | Correction enseignant (format HTML) |
1001 | 1 | 1 | <p>Qu'est-ce que le World Wide Web ?<br></p> | <p></p><p>système hypertexte fonctionnant sur internet</p> <p>= une des applications d'internet, comme courrier électronique, messagerie instantanée...</p><br><p></p> |
2045 | 1 | 45 | Pourquoi le code HTML suivant ne respecte-t-il pas les principes d'accessibilité de WCAG ?<br/><br/><code><br/> <p>Site de la RATP</p><br/> <img src="ratp.jpg" alt="RATP"/><br/></code><br/><br/> | <p>car la légende de l'image ne lui est pas associée (avec un figcaption par exemple)</p><p>.5 pour ceux qui ont dit que le texte alternatif n'était pas suffisamment précis<br></p> |
- Extrait du fichier trainT2-R.tab (fichier de réponse des étudiants, "NO_ANS" lorsqu'aucune réponse fournie)
ID question | Note étudiant | ID étudiant | Réponse étudiant |
1001 | 0.5 | student101 | Ce sont les pages web accessible par tout navigateur.\n |
1001 | 0 | student108 | Un réseau mondial \n |
1001 | 1 | student3 | C'est le systeme hypertexte qui sert à consulter des documents et des pages hébergés sur le réseau internet\n |
1001 | 0 | student49 | NO_ANS |
Le corpus de test se composera de mentions A_COMPLETER à la place des notes de la deuxième colonne. Votre système devra fournir une note (entre 0 et 1) pour chaque réponse d'étudiant
- Remarques :
- les fichiers contiennent des balises HTML, et pour les questions sur le code, la version présente les balises sous la forme d'entité : <img src="fichier.png"> apparaît en <img src="fichier.png">
- Pour la phase de test, trois soumissions sont autorisées.
Tâche continue
- Une tâche de prédiction
itérative des notes où le
participant :
- interroge notre serveur pour obtenir la note d'un étudiant sur une question
- prédit les notes de tous les étudiants pour cette question
- et dépose ses prédictions dans une base de données
- puis recommence en demandant avec pertinence la note d'un autre étudiant, et sur la base de cette nouvelle note, qu'il affine son modèle en fonction des réponses qu'il juge similaires.
- Remarques :
- Pour cette tâche, des scripts Python d'interrogation et de transmission des prédictions sur notre base de données seront fournis aux participants, à, charge pour eux de les adapter à leurs besoins. Voir le guide de participation pour plus de détails concernant l'utilisation des scripts.
- Pour la phase de test, une seule soumission possible. Le serveur de soumission pourra être réinitialisé en dehors de la phase de test pour essayer d'autres configurations.
Guide de participation
Un guide de participation pour la tâche
continue explique l'organisation du processus et
comment utiliser les scripts d'interrogation du
serveur : guide-deft2022-v2.pdf.
Evaluation
Tâche de base : précision au niveau global (même script que pour DEFT 2021)
perl evaluation-T2.pl fichier-référence fichier-hypothèse
Soumissions
Les participants sont libres de participer à une ou deux tâches.
Bien que les corpus de tests envisagés sont
différents selon les tâches, la phase de test
se compose de deux périodes, une par
tâche :
- d'abord la phase de test pour la tâche de base
(prédictions apprises d'après une
référence) : 2 et 3 mai 2022,
jusqu'à trois soumissions autorisées
- puis la phase de test pour la tâche continue
(interrogation itérative du serveur) : du 4
au 9 mai 2022, une seule soumission possible pendant la
phase de test ; d'autres soumissions hors challenge
seront possibles au-delà
L'atelier de clôture aura lieu le lundi 27 juin 2022 selon le programme suivant :
- 14h00 : Notation automatique de réponses courtes d'étudiants : présentation de la campagne DEFT 2022 (Cyril GROUIN, Gabriel ILLOUZ), présentation
- 14h30 : Participation de l'équipe TGV à DEFT 2022 : Prédiction automatique de notes d'étudiants à des questionnaires en fonction du type de question (Vanessa GAUDRAY BOUJU, Margot GUETTIER, Gwennola LERUS, Gaël GUIBON, Matthieu LABEAU, Luce LEFEUVRE), présentation
- 15h00 : Stylo@DEFT2022 : Notation automatique de copies d'étudiant·e·s par combinaisons de méthodes de similarité (Ibtihel BEN LTAIFA, Toufik BOUBEHZIZ, Andrea BRIGLIA, Corina CHUTAUX, Yoann DUPONT, Carlos-Emiliano GONZÁLEZ-GALLARDO, Caroline KOUDORO-PARFAIT, Gaël LEJEUNE), présentation
15h30 : Pause café
- 16h00 : Correction automatique d'examens écrits par approche neuronale profonde et attention croisée bidirectionnelle (Yanis LABRAK, Philippe TURCOTTE, Richard DUFOUR, Mickael ROUVIER), présentation
- 16h30 : Participation d'EDF R&D à DEFT 2022 (Philippe SUIGNARD, Xiaomi HUANG, Meryl BOTHUA), présentation
- 17h00 : Discussion et conclusion
Les actes sont disponibles sur le site TALN archives.
Les actes sont disponibles sur TALN archives