Présentation

Créé en 2005 à l'image des campagnes TREC et MUC, le DÉfi Fouille de Textes est une campagne d'évaluation francophone qui propose chaque année de confronter les méthodes de plusieurs équipes de recherche sur une thématique régulièrement renouvelée.

Dans la continuité de l'édition 2021, cette nouvelle édition du défi portera sur la correction automatique de copies électroniques d'étudiants (du type questionnaires sous Moodle). Le corpus utilisé se compose d'énoncés en informatique (programmation web et bases de données) avec la correction de l'enseignant, et des réponses produites par des étudiants. Cette deuxième édition sur le français permettra une com- paraison des résultats obtenus par les participants de l'année passée et l'étude de l'évolution des méthodes employées.

Description des tâches

Tâche de base

• Comme pour DEFT 2021, une tâche consistant à prédire la note de réponse d'étudiant à une question d'après une référence existante. Le corpus d'entraînement de DEFT 2022 se compose des corpus d'entraînement et de test de l'édition 2021. Le corpus de test 2022 est nouveau, mais il reste similaire du point de vue du contenu.
• Extrait du fichier trainT2-Q.tab (fichier de questions)

ID question	Note max	Numéro	Question (format HTML)	Correction enseignant (format HTML)
1001	1	1	<p>Qu'est-ce que le World Wide Web ?<br></p>	<p></p><p>système hypertexte fonctionnant sur internet</p> <p>= une des applications d'internet, comme courrier électronique, messagerie instantanée...</p><br><p></p>
2045	1	45	Pourquoi le code HTML suivant ne respecte-t-il pas les principes d'accessibilité de WCAG ?<br/><br/><code><br/> <p>Site de la RATP</p><br/> <img src="ratp.jpg" alt="RATP"/><br/></code><br/><br/>	<p>car la légende de l'image ne lui est pas associée (avec un figcaption par exemple)</p><p>.5 pour ceux qui ont dit que le texte alternatif n'était pas suffisamment précis<br></p>

• Extrait du fichier trainT2-R.tab (fichier de réponse des étudiants, "NO_ANS" lorsqu'aucune réponse fournie)

ID question	Note étudiant	ID étudiant	Réponse étudiant
1001	0.5	student101	Ce sont les pages web accessible par tout navigateur.\n
1001	0	student108	Un réseau mondial   \n
1001	1	student3	C'est le systeme hypertexte qui sert à consulter des documents et des pages hébergés sur le réseau internet\n
1001	0	student49	NO_ANS

Le corpus de test se composera de mentions A_COMPLETER à la place des notes de la deuxième colonne. Votre système devra fournir une note (entre 0 et 1) pour chaque réponse d'étudiant

• Remarques :
• les fichiers contiennent des balises HTML, et pour les questions sur le code, la version présente les balises sous la forme d'entité : <img src="fichier.png"> apparaît en &lt;img src="fichier.png"&gt;
• Pour la phase de test, trois soumissions sont autorisées.

---

Tâche continue

• Une tâche de prédiction itérative des notes où le participant :
1. interroge notre serveur pour obtenir la note d'un étudiant sur une question
2. prédit les notes de tous les étudiants pour cette question
3. et dépose ses prédictions dans une base de données
4. puis recommence en demandant avec pertinence la note d'un autre étudiant, et sur la base de cette nouvelle note, qu'il affine son modèle en fonction des réponses qu'il juge similaires.
• Remarques :
• Pour cette tâche, des scripts Python d'interrogation et de transmission des prédictions sur notre base de données seront fournis aux participants, à, charge pour eux de les adapter à leurs besoins. Voir le guide de participation pour plus de détails concernant l'utilisation des scripts.
• Pour la phase de test, une seule soumission possible. Le serveur de soumission pourra être réinitialisé en dehors de la phase de test pour essayer d'autres configurations.

Guide de participation

Un guide de participation pour la tâche continue explique l'organisation du processus et comment utiliser les scripts d'interrogation du serveur : guide-deft2022-v2.pdf.

Evaluation

perl evaluation-T2.pl fichier-référence fichier-hypothèse

Soumissions

Les participants sont libres de participer à une ou deux tâches.

Bien que les corpus de tests envisagés sont différents selon les tâches, la phase de test se compose de deux périodes, une par tâche :

• d'abord la phase de test pour la tâche de base (prédictions apprises d'après une référence) : 2 et 3 mai 2022, jusqu'à trois soumissions autorisées
• puis la phase de test pour la tâche continue (interrogation itérative du serveur) : du 4 au 9 mai 2022, une seule soumission possible pendant la phase de test ; d'autres soumissions hors challenge seront possibles au-delà

Programme de l'atelier

L'atelier de clôture aura lieu le lundi 27 juin 2022 selon le programme suivant :

• 14h00 : Notation automatique de réponses courtes d'étudiants : présentation de la campagne DEFT 2022 (Cyril GROUIN, Gabriel ILLOUZ), présentation

---

• 14h30 : Participation de l'équipe TGV à DEFT 2022 : Prédiction automatique de notes d'étudiants à des questionnaires en fonction du type de question (Vanessa GAUDRAY BOUJU, Margot GUETTIER, Gwennola LERUS, Gaël GUIBON, Matthieu LABEAU, Luce LEFEUVRE), présentation
• 15h00 : Stylo@DEFT2022 : Notation automatique de copies d'étudiant·e·s par combinaisons de méthodes de similarité (Ibtihel BEN LTAIFA, Toufik BOUBEHZIZ, Andrea BRIGLIA, Corina CHUTAUX, Yoann DUPONT, Carlos-Emiliano GONZÁLEZ-GALLARDO, Caroline KOUDORO-PARFAIT, Gaël LEJEUNE), présentation

15h30 : Pause café

• 16h00 : Correction automatique d'examens écrits par approche neuronale profonde et attention croisée bidirectionnelle (Yanis LABRAK, Philippe TURCOTTE, Richard DUFOUR, Mickael ROUVIER), présentation
• 16h30 : Participation d'EDF R&D à DEFT 2022 (Philippe SUIGNARD, Xiaomi HUANG, Meryl BOTHUA), présentation

---

• 17h00 : Discussion et conclusion

Les actes sont disponibles sur le site TALN archives.

Actes de l'atelier

Les actes sont disponibles sur TALN archives

Comités

Comité scientifique

• Alexandre ALLAUZEN (ESPCI, LAMSADE, Dauphine Université Paris/PSL)
• Yolaine BOURDA (CentraleSupélec, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)
• Natalia GRABAR (Université de Lille, CNRS, STL, Lille)
• Cyril GROUIN (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
• Thierry HAMON (Université Sorbonne Paris-Nord, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
• Gabriel ILLOUZ (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
• Anne-Laure LIGOZAT (ENSIIE, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
• Fleur MOUGIN (Bordeaux Population Health, Université de Bordeaux)
• Fabrice POPINEAU (CentraleSupélec, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)
• Fatiha SAÏS (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)

Comité d'organisation

• Cyril GROUIN (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN)