Découverte de connaissances dans les séquences par CRF non-supervisés

Les tâches de decouverte de connaissances ont pour but de faire emerger des groupes d'entites coherents. Ils reposent le plus souvent sur du clustering, tout l'enjeu etant de definir une notion de similarite pertinentes entre ces entites. Dans cet article, nous proposons de detourner les champs aleatoires conditionnels (CRF), qui ont montre leur interet pour des tâches d'etiquetage supervisees, pour calculer indirectement ces similarites sur des sequences de textes. Pour cela, nous generons des problemes d'etiquetage factices sur les donnees a traiter pour faire apparaitre des regularites dans les etiquetages des entites. Nous decrivons comment ce cadre peut etre mis en œuvre et l'experimentons sur deux tâches d'extraction d'informations. Les resultats obtenus demontrent l'interet de cette approche non-supervisee, qui ouvre de nombreuses pistes pour le calcul de similarites dans des espaces de representations complexes de sequences.

[1]  Romaric Besançon,et al.  Filtering and clustering relations for unsupervised information extraction in open domain , 2011, CIKM '11.

[2]  Tom M. Mitchell,et al.  The Need for Biases in Learning Generalizations , 2007 .

[3]  Zornitsa Kozareva.  Bootstrapping Named Entity Recognition with Automatically Generated Gazetteer Lists , 2006, EACL.

[4]  Noah A. Smith,et al.  Contrastive Estimation: Training Log-Linear Models on Unlabeled Data , 2005, ACL.

[5]  Philip S. Yu,et al.  Clustering through decision tree construction , 2000, CIKM '00.

[6]  Balaraman Ravindran,et al.  Part Of Speech Tagging and Chunking with HMM and CRF , 2006 .

[7]  Bernard Mérialdo,et al.  Tagging English Text with a Probabilistic Model , 1994, CL.

[8]  Vincent Claveau,et al.  Annotating Football Matches: Influence of the Source Medium on Manual Annotation , 2012, LREC.

[9]  Andrew McCallum,et al.  Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data , 2001, ICML.

[10]  Sriharsha Veeramachaneni,et al.  A Simple Semi-supervised Algorithm For Named Entity Recognition , 2009, HLT-NAACL 2009.

[11]  D. Ruppert.  The Elements of Statistical Learning: Data Mining, Inference, and Prediction , 2004 .

[12]  Thomas L. Griffiths,et al.  A fully Bayesian approach to unsupervised part-of-speech tagging , 2007, ACL.

[13]  Tao Wang,et al.  Semantic Event Detection using Conditional Random Fields , 2006, 2006 Conference on Computer Vision and Pattern Recognition Workshop (CVPRW'06).

[14]  Benoît Favre,et al.  Semi-supervised part-of-speech tagging in speech applications , 2010, INTERSPEECH.

[15]  S. Dongen.  Graph clustering by flow simulation , 2000 .

[16]  Romaric Besançon,et al.  Evaluation of Unsupervised Information Extraction , 2012, LREC.

[17]  Vincent Claveau,et al.  Semantic Clustering using Bag-of-Bag-of-Features , 2012, CORIA.

[18]  François Yvon,et al.  Practical Very Large Scale CRFs , 2010, ACL.

[19]  Hinrich Schütze,et al.  Introduction to information retrieval , 2008 .

[20]  M. Cugmas,et al.  On comparing partitions , 2015 .

[21]  S. Horvath,et al.  Unsupervised Learning With Random Forest Predictors , 2006 .

[22]  S. vanDongen.  Graph Clustering by Flow Simulation , 2000 .

[23]  Kevin Knight,et al.  Minimized Models for Unsupervised Part-of-Speech Tagging , 2009, ACL/IJCNLP.

[24]  Kentaro Torisawa,et al.  Exploiting Wikipedia as External Knowledge for Named Entity Recognition , 2007, EMNLP.

[25]  Yoram Singer,et al.  Unsupervised Models for Named Entity Classification , 1999, EMNLP.

[26]  C. Raymond,et al.  Reconnaissance robuste d’entités nommées sur de la parole transcrite automatiquement , 2010, JEPTALNRECITAL.

[27]  Simon Günter,et al.  A Stochastic Quasi-Newton Method for Online Convex Optimization , 2007, AISTATS.

[28]  Matthieu Constant,et al.  Intégrer des connaissances linguistiques dans un CRF : application à l'apprentissage d'un segmenteur-étiqueteu r du français , 2011 .

[29]  Micha Elsner,et al.  Structured Generative Models for Unsupervised Named-Entity Clustering , 2009, HLT-NAACL.

[30]  James Bailey,et al.  Information theoretic measures for clusterings comparison: is a correction for chance necessary? , 2009, ICML '09.

[31]  William M. Rand,et al.  Objective Criteria for the Evaluation of Clustering Methods , 1971 .

[32]  Christopher D. Manning,et al.  Introduction to Information Retrieval , 2010, J. Assoc. Inf. Sci. Technol..