Créé en 2005 à l'image des campagnes TREC et MUC, le DÉfi Fouille de Textes est une campagne d'évaluation francophone qui propose chaque année de confronter les méthodes de plusieurs équipes de recherche sur une thématique régulièrement renouvelée. L'édition 2021 portera sur deux domaines distincts :

dans la continuité des éditions 2019 et 2020 avec le traitement des cas cliniques rédigés en français (descriptions de situations cliniques rares utilisées à des fins pédagogiques, scientifiques ou thérapeutiques). Le corpus utilisé provient d'un ensemble plus vaste composé de cas cliniques, porteur d'annotations plus complètes [1]. Pour 2021, nous reprenons les corpus des éditions passées (une sélection de cas parmi plus de 700 cas), éventuellement complété de nouveaux cas. Les cas cliniques sont anonymes. Ils couvrent différentes spécialités médicales (cardiologie, urologie, oncologie, obstétrique, pulmonaire, gasto-entérologie, etc.). Ils décrivent des cas qui se sont produits dans différents pays francophones (France, Belgique, Suisse, Canada, pays africains, pays tropicaux, etc.).
[1] N Grabar, V Claveau, C Dalloux. CAS: French Corpus with Clinical Cases. LOUHI 2018, p. 1-7
et sur la correction automatique de copies électroniques d'étudiants (du type questionnaires sous Moodle). Le corpus utilisé se compose d'une centaine d'énoncés en informatique (programmation web et bases de données) avec la correction de l'enseignant, et des réponses produites par une cinquantaine d'étudiants en moyenne par question, sur deux années d'enseignement. Le corpus se compose de questions ouvertes et fermées. Il est anonymisé et proposé au format JSON. Il existe des méthodologies et données d'évaluation sur l'anglais pour évaluer les réponses courtes d'étudiants [2], et plusieurs campagnes d'évaluation ont déjà eu lieu, mais uniquement pour l'anglais (Kaggle-HP-SAG, SemEval, etc.).
[2] Mohler, M. and Mihalcea, R. (2009). Text-to-text semantic similarity for automatic short answer grading. In Proc of EACL, pages 567–75, Athens, Greece.

Accès aux données
L'accès aux données ne sera rendu possible qu'après signature d'un accord d'utilisation des données DEFT 2021 par l'ensemble des membres de l'équipe. Les participants sont libres de participer à une ou plusieurs tâches. En accédant aux données, ils s'engagent moralement à participer jusqu'au bout (soumettre des résultats et présenter les résultats pendant l'atelier).

Accord d'utilisation des données DEFT 2021 : compléter et faire signer cet accord par tous les membres de l'équipe participante, puis renvoyer cet accord sous forme d'une numérisation au format PDF par mail à deft A@T lisn.upsaclay.fr

Accès aux données hors challenge (DEFT 2019, 2020, 2021) : corpus de 717 cas cliniques rédigés en français, annotés avec quatre type d'information démographique (âge, genre) et clinique (origine de la consultation, issue), et pour un sous-ensemble de 167 cas, également annotés avec treize types d'information clinique (anatomie, date, dose, durée, examen, fréquence, mode, moment, pathologie, signe ou symptôme, substance, traitement, valeur) et cinq attributs (assertion, changement, état, norme, prise). La demande d'accès au corpus doit être formulée auprès de Natalia Grabar (natalia.grabar@univ-lille.fr) et Cyril Grouin (cyril.grouin@lisn.upsaclay.fr)

Les tâches proposées lors de ce défi sont :

Tâche 1 : identification du profil clinique du patient

Objectif : pour un cas clinique donné, la tâche vise à identifier le profil clinique du patient concerné par le type de maladie de toutes les pathologies présentes dans le cas. Cette tâche permet de s'appuyer sur les annotations antérieures d’entités nommées en pathologies, signes ou symptômes, parties anatomiques, etc.
Entrée : un ensemble de cas cliniques au format texte (fichiers *.txt). Les annotations en entités du domaine médical (annotations DEFT 2020) sont fournies à titre d'information, pour l'apprentissage
Sortie : pour chaque cas, la liste dédoublonnée des types de maladies rencontrées correspondant aux entrées génériques du chapitre C du MeSH ; les portions de texte qui auront permis l'identification du type de maladie ne sont pas attendues
Remarques :
- Le type de maladie correspond au chapitre C du MeSH (http://mesh.inserm.fr/FrenchMesh/search/index.jsp), et dans l'arborescence, au niveau immédiatement sous l'intitulé générique "Maladies", voir FAQ ci-dessous
- une même pathologie peut renvoyer à plusieurs types, en particulier lorsqu'il existe une information de localisation. Pour la pathologie "méningo-encéphalite tuberculeuse", deux types sont attendus : "maladies du système nerveux" et "infections bactériennes et mycoses". Le choix entre "maladies de l'appareil urogénital féminin et complications de la grossesse" et "maladies urogénitales de l'homme" devra tenir compte du genre de la personne dont le cas est décrit.
Évaluation : précision, rappel, F-mesure
Format des fichiers à soumettre : comme le fichier « classe-train-v2.txt » (trois colonnes avec autant de lignes qu'il y a de chapitres à prédire pour le cas clinique traité)

Tâche 2 : évaluation automatique de copies d'après une référence existante

Objectif : évaluer les réponses des étudiants (fournir une note entre 0 et 1) en prenant pour référence la correction produite par l’enseignant.
Entrée : un ensemble anonymisé de questions ouvertes et fermées au format tabulaire

Extrait du fichier trainT2-Q.tab (fichier de questions)

ID question	Note max	Numéro	Question (format HTML)	Correction enseignant (format HTML)
1001	1	1	<p>Qu'est-ce que le World Wide Web ?<br></p>	<p></p><p>système hypertexte fonctionnant sur internet</p> <p>= une des applications d'internet, comme courrier électronique, messagerie instantanée...</p><br><p></p>
2045	1	45	Pourquoi le code HTML suivant ne respecte-t-il pas les principes d'accessibilité de WCAG ?<br/><br/><code><br/> <p>Site de la RATP</p><br/> <img src="ratp.jpg" alt="RATP"/><br/></code><br/><br/>	<p>car la légende de l'image ne lui est pas associée (avec un figcaption par exemple)</p><p>.5 pour ceux qui ont dit que le texte alternatif n'était pas suffisamment précis<br></p>

Extrait du fichier trainT2-R.tab (fichier de réponse des étudiants, "NO_ANS" lorsqu'aucune réponse fournie)

ID question	Note étudiant	ID étudiant	Réponse étudiant
1001	0.5	student101	Ce sont les pages web accessible par tout navigateur.\n
1001	0	student108	Un réseau mondial \n
1001	1	student3	C'est le systeme hypertexte qui sert à consulter des documents et des pages hébergés sur le réseau internet\n
1001	0	student49	NO_ANS

Le corpus de test se composera de mentions A_COMPLETER à la place des notes de la deuxième colonne. Votre système devra fournir une note (entre 0 et 1) pour chaque réponse d'étudiant

Sortie : une note comprise entre 0 et 1
évaluation : précision et corrélation de Spearman
Format des fichiers à soumettre : comme le fichier « trainT2-R.tab » avec vos notes

Tâche 3 : poursuite automatique de l'évaluation de réponses d'étudiants à partir de premières évaluations

Objectif : pour un ensemble composé d'un énoncé et de plusieurs réponses d’étudiants déjà corrigées par l'enseignant, évaluer les autres réponses d'étudiants pour cet énoncé (fournir des notes comprises entre 0 et 1).
Entrée : un ensemble anonymisé de questions ouvertes et fermées au format tabulaire

Extrait du fichier trainT3-Q.tab (fichier de questions, pas de correction sur cette tâche : "NO_COR" indiqué)

ID question	Note max	Thématique	Question (format HTML)	Correction enseignant
5008	1.5	W3C 2	<p>En validant un code HTML vous recevez les erreurs suivantes :<br><br>Error : Attribute href not allowed on element img at this point.<br>Error : Element img is missing required attribute src.<br><br>Voici le code HTML autour de la ligne incriminée. Proposer un remplacement de cette partie du code qui corrige les erreurs tout en respectant l'intention de l'auteur du code (en cas d'ambiguité, faites suivant votre jugement).<br><br> <body><br> <img href="image.png" alt="Une image"/><br> <p><br> Voici du texte qui vient après l'image.<br> </p><br> </body><br></p>	NO_COR
5013	2.5	Séparation contenu / présentation	<p>Indiquez trois outils qui peuvent être utilisés pour faire la séparation entre contenu et présentation et avoir une présentation cohérente.<br></p>	NO_COR

Extrait du fichier trainT3-R.tab (fichier de réponse des étudiants, "NO_ANS" lorsqu'aucune réponse fournie)

ID question	Note étudiant	ID étudiant	Réponse étudiant
5008	0	student113	NO_ANS
5008	0.5	student114	<body>\n <img 'image.png' alt="Une image"/img>\n <p>\n Voici du texte qui vient après l'image.\n </p>\n\n</body>\n\n
5008	1	student117	<body>\n <img src="image.png" alt="Une image"/>\n <p>\n Voici du texte qui vient après l'image.\n </p>\n </body>\n\n
5013	0	student164	Les trois outils qui peuvent être utilisés pour faire la séparation entre contenu et présentation sont : \n
5013	0.2	student166	- Les couleurs de police\n\n- Les tailles de police \n- En-tête et pied de page\n
5013	0.4	student168	Pour avoir une présentation cohérente en séparant le contenu et la séparation : on peut utiliser le séparateur retour à la ligne, appliquer des styles distincts ou alors jouer sur l'espace "interligne et espacement de paragraphe".

Le corpus de test se composera de mentions A_COMPLETER à la place de la majorité des notes de la deuxième colonne ; une minorité de notes sélectionnées aléatoirement sera fournie pour chaque question (représentant 5 ou 10% des réponses disponibles pour la question), comme amorces à partir desquelles poursuivre l'évaluation des autres réponses d'étudiants. Par exemple :

ID question	Note étudiant	ID étudiant	Réponse étudiant
5008	A_COMPLETER	student113	NO_ANS
5008	A_COMPLETER	student114	<body>\n <img 'image.png' alt="Une image"/img>\n <p>\n Voici du texte qui vient après l'image.\n </p>\n\n</body>\n\n
5008	1	student117	<body>\n <img src="image.png" alt="Une image"/>\n <p>\n Voici du texte qui vient après l'image.\n </p>\n </body>\n\n

Sortie : des notes comprises entre 0 et 1
Évaluation : précision et corrélation de Spearman
Format des fichiers à soumettre : comme le fichier « trainT3-R.tab » avec vos notes à la place des mentions « A_COMPLETER »

Les participants seront également encouragés à soumettre les données (énoncés, corrections, réponses, notes) qu'ils auront produites lors de leurs enseignements, au format utilisé pour DEFT. Nous évaluerons la qualité de ces données.

Evaluation

Tâche 1 : rappel, précision, F-mesure, calculées au niveau global et par sous-chapitre du chapitre C du MeSH
```
perl evaluation-cas-clinique.pl fichier-référence fichier-hypothèse
```

Tâche 2 : précision au niveau global

perl evaluation-T2.pl fichier-référence fichier-hypothèse

Tâche 3 :

précision au niveau global et par question

perl evaluation-T3.pl corpus fichier-référence fichier-hypothèse

corrélation de Spearman (sudo cpan install Statistics::Basic::Correlation)
```
perl evaluation-T3corr.pl fichier-référence fichier-hypothèse
```

Voir message envoyé aux participants pour récupérer l'archive globale.

Soumissions

Les participants sont autorisés à soumettre jusqu'à trois sorties de sysème par tâche. Chaque fichier de soumission sera nommé : « nom-equipe_T1_run1.txt » (pour la première soumission sur la première tâche).

Les soumissions seront rassemblées dans une archive (zip, tar.gz, tar.bz2) nommée « nom-equipe_T1-T2-T3.tar.gz » (avec le nom de l'équipe, puis la ou les tâches auxquelles vous avez participé).

L'archive sera envoyée à : deft @ lisn . upsaclay . fr

Il vous appartient de vérifier que le format de vos fichiers correspond à ce qui est attendu. Au besoin, lancez les scripts d'évaluation sur vos fichiers (en prenant vos fichiers comme hypothèse et comme référence, vous obtiendrez des valeurs à 1 sur chaque fichier triaté, garantissant surtout que le format peut être évalué correctement).

FAQ

Sur la première tâche (cas cliniques), certains nous ont posé la question du lien entre le label présent dans le fichier "classes-train.txt" (deuxième colonne : nerveux, etatsosy, chimiques, etc.) et les chapitres du MeSH. Vous trouverez ci-dessous des précisions sur la manière dont nous avons annoté le corpus et produit ce fichier de classes.

Nous avons annoté le corpus sous BRAT. Les labels de la deuxième colonnes sont ceux définis dans le fichier de configuration pour l'annotation. L'identification du chapitre (Cxx) s'est faite en interrogeant le moteur fourni par l'INSERM (http://mesh.inserm.fr/FrenchMesh/search/index.jsp). La correspondance entre l'intitulé dans l'arborescence du MeSH et les labels utilisés est la suivante :

C01 - Infections bactériennes et mycoses → infections
C02 - Maladies virales → virales
C03 - Maladies parasitaires → parasitaires
C04 - Tumeurs → tumeur
C05 - Maladies ostéomusculaires → osteomusculaires
C06 - Maladies de l'appareil digestif → digestif
C07 - Maladies du système stomatognathique → stomatognathique
C08 - Maladies de l'appareil respiratoire → respiratoire
C09 - Maladies oto-rhino-laryngologiques → ORL
C10 - Maladies du système nerveux → nerveux
C11 - Maladies de l'oeil → oeil
C12 - Maladies urogénitales de l'homme → homme
C13 - Maladies de l'appareil urogénital féminin et complications de la grossesse → femme
C14 - Maladies cardiovasculaires → cardiovasculaires
C15 - Hémopathies et maladies lymphatiques → hemopathies
C16 - Malformations et maladies congénitales, héréditaires et néonatales → genetique
C17 - Maladies de la peau et du tissu conjonctif → peau
C18 - Maladies métaboliques et nutritionnelles → nutritionnelles
C19 - Maladies endocriniennes → endocriniennes
C20 - Maladies du système immunitaire → immunitaire
C21 - Troubles liés à l'environnement → environnement (inutilisé)
C22 - Maladies de l'animal → animal (inutilisé)
C23 - États, signes et symptômes pathologiques → etatsosy
C24 - Maladies professionnelles → professionnelles (inutilisé)
C25 - Troubles dus à des produits chimiques → chimiques
C26 - Plaies et blessures → blessures

Les codes C21, C22 et C24 n'ont jamais été utilisés dans le corpus DEFT 2021.
Les codes C12 et C13 sont mutuellement exclusifs : nous utilisons « uro-génital homme » (C12) si le patient est masculin, et « uro-génital féminin » (C13) s'il s'agit d'une patiente. Le concept « anurie » peut donc apparaître soit comme "homme", soit comme "femme" en fonction du sexe de la personne dont on parle.

Dans le fichier "classes-train.txt", nous avons reproduit, pour chaque fichier, les différents codes identifiés et fourni une seule annotation issue de ce fichier pour chaque code, en conservant la portion qui fait sens plutôt que le concept directement identifié dans le MeSH. Ainsi , pour le fichier filehtml-24-cas.ann, nous indiquons huit types de maladies différents :

filehtml-24-cas.ann     etatsosy        vomissements
filehtml-24-cas.ann     genetique       retard de croissance intra-utérin
filehtml-24-cas.ann     femme   retard de croissance intra-utérin
filehtml-24-cas.ann     nutritionnelles diabète gestationnel
filehtml-24-cas.ann     endocriniennes  diabète gestationnel
filehtml-24-cas.ann     osteomusculaires        réaction extrapyramidale
filehtml-24-cas.ann     nerveux réaction extrapyramidale
filehtml-24-cas.ann     digestif        gastrite érosive

Nous n'avons indiqué que « vomissements » comme exemple du type "etatsosy" (C23) ; il existe cependant plusieurs candidats dans ce texte pour identifier ce chapitre : vomissements, retard de croissance intra-utérin, nausées, hématémèse, épigastrie, HG, réaction extrapyramidale, etc.

Même si un signe ou un symptôme ne constitue pas une maladie, nous avons annoté les états et signes ou symptômes (etatsosy) dans la mesure où une entrée existe dans le MeSH sous le chapitre C.

Certaines portions de texte ne sont pas nécessairement présentes à l'identique dans le MeSH :

pour certaines, nous avons cherché leur signification (ex : « HG » = Hyperemesis gravidarum),
pour d'autres, c'est le contexte qui nous a permis de spécifier (ex : « réaction extrapyramidale » en "ostéomusculaire" et "nerveux" parce que le texte précise une « rigidité de la mâchoire » donc "ostéomusculaire" et « difficulté à parler » donc "système nerveux").
pour d'autres encore, seule une partie de la portion est présente dans le MeSH (ex : « gastrite » et non « gastrite érosive »)
pour d'autres encore, il faut décomposer : « hépatosplénomégalie » renvoie à « hépatomégalie » d'une part et « splénomégalie » d'autre part...

Dernière précision : seules les maladies attestées, y compris celles dans le passé, ont été conservées pour établir le profil du patient. Les maladies mentionnées mais absentes ou hypothétiques ne sont pas annotées.

dans filepdf-106-cas, pour la phrase « pas de masse palpable ni hépatosplénomégalie », les concepts "hépatomégalie" (C06-digestif et C23-etatsosy) et "splénomégalie" (C23-etatsosy) ne sont pas annotés puisque non trouvés lors de l'examen médical.
dans filepdf-119-cas, pour la phrase « La première hypothèse était celle d'un néphroblastome », ce concept (C04-tumeur, C12-uro-génital homme, C13-uro-génital femme, et C16-congénital) n'est pas annoté puisqu'à l'état d'hypothèse.

Question : Les fichiers .ann pour chaque patient seront-ils inclus dans ce corpus de test ? Si oui, pourrons-nous les utiliser pour la prédiction ?

Réponse : Les annotations fournies au format BRAT avec les données d'entraînement rassemblent les informations des éditions 2019 (age, genre, issue, origine), 2020 (anatomie, date, dispositif, dose, duree, examen, fonction, frequence, mode, moment, organisme, pathologie, poids, sosy, substance, taille, temperature, traitement, valeur), et 2021 (blessures, cardiovasculaires, chimiques, digestif, endocriniennes, etatsosy, femme, genetique, hemopathies, homme, immunitaire, infections, nerveux, nutritionnelles, oeil, ORL, osteomusculaires, parasitaires, peau, respiratoire, stomatognathique, tumeur, virales). Les annotations de 2021 nous ont permis de produire le fichier de référence classe-train-v2.txt que nous vous avons distribué. Pour le corpus de test, nous fournirons les fichiers *.ann mais sans les annotations de 2021 (seules seront fournies les annotations 2019 et 2020).

Question : Vous dites « Vérifiez que votre apprentissage ne se fonde pas sur les annotations de référence de 2021 ! ». Peut-on avoir plus de précisions ? Plus particulièrement, nous pensions que tous les éléments se trouvant dans les fichiers *.ann sont autorisés à être utilisés pour l’apprentissage.

Réponse : Je comprends la confusion : vous avez le droit d'entraîner un système sur les annotations de 2021 du train pour les prédire sur le test. Aucun problème, c'est autorisé. Par contre, si votre système utilise les annotations 2021 comme caractéristiques pour faire ses prédictions, comme ces annotations seront absentes du test, les utiliser comme caractéristiques sera impossible.

Question : Nous avons noté deux petites différences dans le nom des classes entre ce qu'il y a sur le site et le fichier classes-train-v2.txt : "genetique" au lieu de "congenitales" et "osteomusculaire" au pluriel. Peux-tu me confirmer que nous devons utiliser les noms des classes donnés sur le site ?

Réponse : Ce sont les intitulés dans classe-train-v2.txt qu'il faut prédire : genetique, osteomusculaires

Articles DEFT

Feuilles de style des articles : taln2021-style.tgz (10 à 12 pages hors références)

Site de soumission des articles : https://easychair.org/conferences/?conf=talnrecital2021 (choisir le track DEFT)

Chaque participant dispose d'un créneau d'une demi-heure, avec 10 à 15 minutes de présentation (prévoir une présentation au format PDF), suivie d'échanges avec l'audience.

Introduction

10h00-10h30 – Classification de cas cliniques et évaluation automatique de réponses d'étudiants : présentation de la campagne DEFT 2021 (Cyril Grouin, Natalia Grabar, Gabriel Illouz) [présentation]

I. Session cas cliniques (tâche 1)

10h30-11h00 – Classification multilabel de concepts médicaux pour l'identification du profil clinique du patient (Christel Gérardin, Pascal Vaillant, Perceval Wajsbürt, Clément Gilavert, Ali Bellamine, Emmanuelle Kempf, Xavier Tannier), équipe « Team Stel » [présentation]

Pause

11h30-12h00 – Participation de Berger-Levrault (BL.Research) à DEFT 2021 : de l'apprentissage des seuils de validation à la classification multi-labels de documents (Mokhtar Boumedyen Billami, Lina Nicolaieff, Camille Gosset, Christophe Bortolaso), équipe « BL.Santé » [présentation]
12h00-12h30 – Classification multi-label de cas cliniques avec CamemBERT (Alexandre Bailly, Corentin Blanc, Thierry Guillotin), équipe « Everteam Lab »
12h30-13h00 – Identification de profil clinique du patient: Une approche de classification de séquences utilisant des modèles de langage français contextualisés (Aidan Mannion, Thierry Chevalier, Didier Schwab, Lorraine Goeuriot), équipe « ISME » [présentation]

Pause repas (1h30)

14h30-15h00 – DOING@DEFT : utilisation de lexiques pour une classification efficace de cas cliniques (Nicolas Hiot, Anne-Lyse Minard, Flora Badin), équipe « DOING »

II. Session réponses d'étudiants (tâches 2 et 3)

15h00-15h30 – QUEER@DEFT2021 : Identification du Profil Clinique de patients et Notations Automatique de Copies d'Étudiants (Yoann Dupont, Carlos-Emiliano González-Gallardo, Gaël Lejeune, Alice Millour, Jean-Baptiste Tanguy), équipe « QUEER » (Question Understanding for Event Extraction and Retrieval)
15h30-16h00 – DEFT 2021: Évaluation automatique de réponses courtes, une approche basée sur la sélection de traits lexicaux et augmentation de données (Timothée Poulain, Victor Connes), équipe « Proofreaders »

Pause

16h30-17h00 – Mesure de similarité textuelle pour une évaluation automatique de copies d'étudiants (Xiaoou Wang, Xingyu Liu, Yimei Yue), équipe « Nantalco » (Nanterre/INaLCO) [présentation]
17h00-17h30 – Participation d'EDF R&D à DEFT 2021 (Philippe Suignard, Alexandra Benamar, Nazim Messous, Clément Christophe, Marie Jubault, Meryl Bothua), équipe « EDF Lab » [présentation]

III. Discussion et conclusion

17h30-18h.. – Discussion et conclusion

Comité scientifique

Alexandre ALLAUZEN (ESPCI, LAMSADE, Dauphine Université Paris/PSL)
Patrice BELLOT (Université Aix-Marseille, LSIS-Lab, Marseille)
Yolaine BOURDA (CentraleSupélec, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)
Natalia GRABAR (Université de Lille, CNRS, STL, Lille)
Cyril GROUIN (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
Thierry HAMON (Université Sorbonne Paris-Nord, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
Gabriel ILLOUZ (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
Anne-Laure LIGOZAT (ENSIIE, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Orsay)
Yue MA (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)
Fleur MOUGIN (Bordeaux Population Health, Université de Bordeaux)
Fabrice POPINEAU (CentraleSupélec, Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN, Gif-sur-Yvette)

Comité d'organisation

Natalia GRABAR (Université de Lille, CNRS, STL)
Cyril GROUIN (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN)
Gabriel ILLOUZ (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numérique – LISN)

DEFT 2021

Défi Fouille de Textes@TALN 2021

Classification de cas cliniques et correction automatique de copies d'étudiants

Description des tâches

Evaluation

FAQ

Comités

Programme de l'atelier (avec présentations)

Actes

Présentation

Description des tâches

Evaluation

Soumissions

FAQ

Articles DEFT

Programme de l'atelier

Introduction

I. Session cas cliniques (tâche 1)

II. Session réponses d'étudiants (tâches 2 et 3)

III. Discussion et conclusion

Comités

Comité scientifique

Comité d'organisation