|
||||||
[Aide] |
Les résultats des participants devront être écrits dans un fichier résultat par tâche, respectant un format XML donné. Les participants pourront envoyer jusqu'à trois fichiers résultats différents par tâche.
Une participation d'une équipe consiste au minimum en un fichier résultat, présentant les résultats des méthodes développées par l'équipe, sur une tâche, sur le corpus français.
Les participants auront 3 jours, à partir du mercredi 18 mars, sur une fenêtre de 4 semaines, pour mettre en œuvre leurs algorithmes sur les corpus de test. Chaque équipe participante fixe elle-même le premier jour du test, elle devra renvoyer ses résultats le troisième jour grâce à la procédure de soumission mise en place. Le samedi et le dimanche entrent dans le décompte de ces jours : si une équipe participante choisit un vendredi comme jour de début de test, elle pourra accéder aux corpus de test le vendredi dès 9h et elle devra envoyer ses résultats au plus tard le dimanche soir à minuit. Le dernier jour de soumission des résultats est le vendredi 17 avril.
Chaque équipe participante devra informer le Comité d'organisation, avant le lundi 16 mars, du jour qu'elle aura choisi comme premier jour de test.
Les résultats et solutions seront diffusés aux participants par les organisateurs le vendredi 24 avril 2009.
Les tâches 1 et 3 demandent une évaluation globale sur un texte, alors que la tâche 2 demande une segmentation du texte lui-même. La présentation des résultats sera donc différente pour la tâche 2 de celle réservée aux deux autres tâches.
La tâche 1 de détection du caractère objectif/subjectif d'un texte doit être effectuée sur le corpus des journaux, alors que la tâche 3 de détermination du parti politique de l'orateur est à effectuer sur le corpus des débats parlementaires. Dans les deux cas, pour chaque document, le fichier résultat doit comporter au moins une valeur de la propriété (objectif/subjectif), respectivement un parti, (la propriété/parti automatiquement attribué au document par le système mis en place par l'équipe participante), et éventuellement un indice de confiance pour cette propriété/parti. L'indice de confiance exprime la probabilité accordée par le système à une propriété/parti qu'il attribue à un document. L'utilisation de l'indice de confiance n'est pas obligatoire.
Exemple pour la tâche 1 :
<EVALUATION> <EVAL_PROPRIETE nombre="1"> <PROPRIETE valeur="SUBJECTIF" /> </EVAL_PROPRIETE> </EVALUATION> |
est équivalent à : | <EVALUATION> <EVAL_PROPRIETE nombre="1"> <PROPRIETE valeur="SUBJECTIF" confiance="1.00" /> </EVAL_PROPRIETE> </EVALUATION> |
Exemple pour la tâche 3 :
<EVALUATION> <EVAL_PARTI nombre="1"> <PARTI valeur="Verts-ALE" /> </EVAL_PARTI> </EVALUATION> |
est équivalent à : | <EVALUATION> <EVAL_PARTI nombre="1"> <PARTI valeur="Verts-ALE" confiance="1.00" /> </EVAL_PARTI> </EVALUATION> |
Si plusieurs valeurs pour la propriété/partis sont attribués au même document, ou si une seule valeur/parti est attribué à un document avec un indice de confiance inférieur à 1, alors les indices de confiance des valeurs de la propriété/partis sans indice, ou des valeurs de la propriété/partis possibles non mentionnés, seront calculés de manière à ce que la somme des indices de confiance de toutes les valeurs de la propriété/partis possibles pour ce document soit égale à 1.
Exemple pour la tâche 3 :
<EVALUATION> <EVAL_PARTI nombre="1"> <PARTI valeur="Verts-ALE" confiance="0.60" /> </EVAL_PARTI> </EVALUATION> |
est équivalent à : | <EVALUATION> <EVAL_PARTI nombre="5"> <PARTI valeur="Verts-ALE" confiance="0.60" /> <PARTI valeur="GUE-NGL" confiance="0.10" /> <PARTI valeur="PSE" confiance="0.10" /> <PARTI valeur="ELDR" confiance="0.10" /> <PARTI valeur="PPE-DE" confiance="0.10" /> </EVAL_PARTI> </EVALUATION> |
<EVALUATION> <EVAL_PARTI nombre="2"> <PARTI valeur="Verts-ALE" confiance="0.60" /> <PARTI valeur="GUE-NGL" confiance="0.40" /> </EVAL_PARTI> </EVALUATION> |
est équivalent à : | <EVALUATION> <EVAL_PARTI nombre="5"> <PARTI valeur="Verts-ALE" confiance="0.60" /> <PARTI valeur="GUE-NGL" confiance="0.40" /> <PARTI valeur="PSE" confiance="0.00" /> <PARTI valeur="ELDR" confiance="0.00" /> <PARTI valeur="PPE-DE" confiance="0.00" /> </EVAL_PARTI> </EVALUATION> |
La tâche 2 de détection des passages subjectifs d'un texte sera effectuée sur les deux corpus, le corpus des journaux et le corpus des débats parlementaires. Le fichier résultat devra comporter le texte de chaque document, et dans ce texte les passages subjectifs seront délimités par l'étiquette de début <SUBJECTIF> et celle de fin </SUBJECTIF>, avec ici aussi la possibilité d'utiliser un indice de confiance.
Exemple :
<texte> A la fin des années 1950, la chaîne locale de la radio d'Etat diffusait en direct le feu d' artifice de Biarritz.<SUBJECTIF confiance="1"> Un feu d' artifice à la radio, formidable . Presque mieux qu'un concours de mime. </SUBJECTIF> Le gérant de la Zaragozana occupe la chaire de chimie à l'université de la ville. <SUBJECTIF confiance="1"> Ses cours sont très marrants. Mais le favori de Mikel Pagola Erviti, c'est "Gori",</SUBJECTIF> le fondateur de la Pirotecnia Gori à Valence. Gregorio Juan Moreno, dit "El Gori", a effectué sa première et dernière présentation à Pampelune le 11 juillet. </texte> |
➫ Des scripts de vérification du format sont disponibles pour la tâche 1, la tâche 2, et la tâche 3.
Le nom des fichiers résultats devra avoir le format suivant :
equipe_numeroEquipe_tache_numeroTache_langue_codeLangue_execution_numeroExecution.xmlIl y a trois tâches (numérotées 1,2,3) et trois exécutions possibles.
Exemples :
equipe_12_tache_1_langue_fr_execution_1.xml equipe_12_tache_2_langue_en_execution_1.xml
Chaque fichier résultat sera évalué en calculant le F-score pour l'élément qui était à classer automatiquement,
avec .Un élément à classer est ici :
Lorsque le F-score est utilisé pour évaluer la performance sur chacune des n classes d'une classification, les moyennes globales de la précision et du rappel sur l'ensemble des classes peuvent être évaluées par la macro-moyenne qui calcule d'abord la précision et le rappel sur chaque classe i , puis en fait la moyenne sur les n classes. Chaque classe, qu'elle soit de grande ou de petite taille, compte alors à égalité dans le calcul de la précision et du rappel.
Etant donné pour chaque classe i :
(3)
(4)
Un élément à classer est attribué à la classe i si :
Un système de classification automatique peut attribuer à un élément à classer une distribution de probabilité sur les différentes classes au lieu de lui attribuer une seule classe. L'indice de confiance est cette probabilité pour un élément à classer d'appartenir à une classe donnée.
Le F-score pondéré par l'indice de confiance sera utilisé à titre indicatif pour des comparaisons complémentaires entre les méthodes mises en place par les équipes.
Dans le F-score pondéré, la précision et le rappel pour chaque classe sont pondérés par l'indice de confiance. Ce qui donne :
(3bis)(4bis)
avec :
- NbreAttribuéCorrecti :
- nombre d'éléments attribuéCorrecti , c'est-à-dire appartenant effectivement à la classe i et auxquels le système a attribué un indice de confiance non nul pour cette classe.
- NbreAttribuéi :
- nombre d'éléments attribuéi auxquels le système a attribué un indice de confiance non nul pour la classe i.
Le F-score pondéré est ensuite calculé à l'aide des formules (1) et (2), ci-dessus, du F-score classique.
➢Chaque équipe participante est invitée à soumettre un article ne dépassant pas 15 pages qui décrit précisément les méthodes employées pour les différentes exécutions :
Les méthodes utilisées pour classer les textes devront être automatiques et reproductibles. Les articles devront rigoureusement détailler les techniques utilisées. Nous rappelons que seuls les corpus d'apprentissage fournis sont autorisés pour l'entraînement à la tâche. En particulier, l'utilisation de textes provenant des sources des corpus de DEFT'09 est interdite. Toute utilisation de corpus additionnels à ceux fournis par DEFT'09 devra être mentionnée dans l'article.
Les articles seront publiés dans les actes de l'atelier et distribués aux participants. L'ensemble des articles sera mis en ligne sur le site de DEFT'09.
A titre d'information, les articles des précédentes éditions de DEFT sont disponibles aux adresses :
DEFT'05 : actes de l'atelier
DEFT'06 : actes de l'atelier
DEFT'07 : http://deft07.limsi.fr/actes.php
DEFT'08 : http://deft08.limsi.fr/actes.php