Aprendizaje discriminativo de clasificadores Bayesianos

El aprendizaje de modelos de clasificacion Bayesianos es, generalmente, un proceso generativo. Es decir, en el aprendizaje de dichos modelos se busca maximizar la verosimilitud del conjunto de datos dado el modelo aprendido. Sin embargo, existe otra aproximacion, el aprendizaje discriminativo, en la que se busca maximizar la verosimilitud condicional. Esta parece, en principio, una aproximacion mas natural para propositos de clasificacion. No obstante, no siempre los modelos aprendidos mediante un metodo discriminativo son mejores que los aprendidos con metodos generativos. Recientemente han aparecido en la bibliografia varios metodos para el aprendizaje discriminativo de clasificadores Bayesianos. En el presente articulo, se presenta un nuevo metodo para el aprendizaje discriminativo, tanto de la estructura como de los parametros, de clasificares Bayesianos. Esta aproximacion esta basada en la adaptacion del algoritmo TM a modelos de clasificacion Bayesianos. Por otra parte, en el presente articulo, tambien se presenta una evaluacion experimental del metodo propuesto aplicado a diferentes bases de datos estandares para clasificacion supervisada.

[1]  Catherine Blake,et al.  UCI Repository of machine learning databases , 1998 .

[2]  Usama M. Fayyad,et al.  Multi-Interval Discretization of Continuous-Valued Attributes for Classification Learning , 1993, IJCAI.

[3]  Marc Parizeau,et al.  Bayesian networks classifiers applied to documents , 2002, Object recognition supported by user interaction for service robots.

[4]  Gregory F. Cooper,et al.  A Bayesian Method for the Induction of Probabilistic Networks from Data , 1992 .

[5]  D. Rubin,et al.  Maximum likelihood from incomplete data via the EM - algorithm plus discussions on the paper , 1977 .

[6]  Nir Friedman,et al.  Bayesian Network Classifiers , 1997, Machine Learning.

[7]  Henry Tirri,et al.  On Discriminative Bayesian Network Classifiers and Logistic Regression , 2005, Machine Learning.

[8]  Bin Shen,et al.  Structural Extension to Logistic Regression: Discriminative Parameter Learning of Belief Net Classifiers , 2002, Machine Learning.

[9]  Ron Kohavi,et al.  Supervised and Unsupervised Discretization of Continuous Features , 1995, ICML.

[10]  Ron Kohavi,et al.  Wrappers for Feature Subset Selection , 1997, Artif. Intell..

[11]  Mehran Sahami,et al.  Learning Limited Dependence Bayesian Classifiers , 1996, KDD.

[12]  Pedro M. Domingos,et al.  Learning Bayesian network classifiers by maximizing conditional likelihood , 2004, ICML.

[13]  Pedro Larrañaga,et al.  Discriminative Learning of Bayesian Network Classifiers via the TM Algorithm , 2005, ECSQARU.

[14]  S. Lauritzen,et al.  The TM algorithm for maximising a conditional likelihood function , 2001 .

[15]  Marvin Minsky,et al.  Steps toward Artificial Intelligence , 1995, Proceedings of the IRE.

[16]  Judea Pearl,et al.  Probabilistic reasoning in intelligent systems , 1988 .

[17]  G. Schwarz Estimating the Dimension of a Model , 1978 .

[18]  David Heckerman,et al.  A Tutorial on Learning with Bayesian Networks , 1998, Learning in Graphical Models.