Impacto da geração de grafos na classificação semissupervisionada

A variety of graph-based semi-supervised learning algorithms have been proposed by the research community in the last few years. Despite its apparent empirical success, the field of semi-supervised learning lacks a detailed empirical study that evaluates the influence of graph construction on semisupervised learning. In this work we provide such an empirical study. For such purpose, we combine a variety of graph construction methods with a variety of graph-based semi-supervised learning algorithms in order to empirically compare them in six benchmark data sets widely used in the semi-supervised learning literature. The algorithms are evaluated in tasks about digit, character, text, and image classification as well as classification of gaussian distributions. The experimental evaluation proposed in this work is subdivided into four parts: (1) best case analysis; (2) evaluation of classifiers’ stability; (3) evaluation of the influence of graph construction on semi-supervised learning; (4) evaluation of the influence of regularization parameters on the classification performance of semi-supervised learning algorithms. In the best case analysis, we evaluate the lowest error rates of each semi-supervised learning algorithm combined with the graph construction methods using a variety of sparsification parameter values. Such parameter is associated with the number of neighbors of each training example. In the evaluation of classifiers’ stability, we evaluate the stability of the semi-supervised learning algorithms combined with the graph construction methods using a variety of sparsification parameter values. For such purpose, we fixed the regularization parameter values (if any) with the values that achieved the best result in the best case analysis. In the evaluation of the influence of graph construction, we evaluate the graph construction methods combined with the semi-supervised learning algorithms using a variety of sparsification parameter values. In this analysis, as occurred in the evaluation of classifiers’ stability, we fixed the regularization parameter values (if any) with the values that achieved the best result in the best case analysis. In the evaluation of the influence of regularization parameters on the classification performance of semi-supervised learning algorithms, we evaluate the error surfaces generated by the semi-supervised classifiers in each graph and data set. For such purpose, we fixed the graphs that achieved the best results in the best case analysis and varied the regularization parameters’ values. The intention of our experiments is evaluating iii the trade-off between classification performance and stability of the graphbased semi-supervised learning algorithms in a variety of graph construction methods as well as parameter values (sparsification and regularization, if applicable). From the obtained results, we conclude that the mutual k-nearest neighbors (mutKNN) graph may be the best choice for adjacency graph construction while the RBF kernel may be the best choice for weighted matrix generation. In addition, mutKNN tends to generate error surfaces that are smoother than those generated by other adjacency graph construction methods. However, mutKNN is unstable for relatively small values of k. Our results indicate that the classification performance of the graph-based semi-supervised learning algorithms are heavily influenced by parameter setting. We found just a few evident patterns that could help parameter selection. The consequences of such instability are discussed in this work in research and practice. Sumário Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii Sumário . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v Lista de Figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii Lista de Tabelas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xi 1 Introdução 1 1.1 Contribuições . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Discussão dos resultados obtidos . . . . . . . . . . . . . . . . . . . 3 1.3 Consequências dos resultados obtidos . . . . . . . . . . . . . . . . 4 1.4 Organização do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . 5 2 Classificação semissupervisionada baseada em grafos 7 2.1 Preliminares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Geração de grafos de adjacência . . . . . . . . . . . . . . . . . . . . 10 2.3 Geração de matrizes ponderadas . . . . . . . . . . . . . . . . . . . 11 2.4 Classificadores semissupervisionados . . . . . . . . . . . . . . . . 12 2.5 Indução heurística . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3 Protocolo Experimental 17 3.1 Bases de dados e pré-processamento . . . . . . . . . . . . . . . . . 17 3.2 Configuração experimental . . . . . . . . . . . . . . . . . . . . . . . 18 3.3 Configuração de parâmetros . . . . . . . . . . . . . . . . . . . . . . 21 3.4 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4 Análise de melhor caso 23 4.1 Avaliação dos resultados obtidos . . . . . . . . . . . . . . . . . . . 23 4.2 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5 Avaliação da estabilidade dos classificadores semissupervisionados 29 5.1 Descrição do modelo experimental proposto . . . . . . . . . . . . . 29 5.2 Avaliação dos resultados obtidos . . . . . . . . . . . . . . . . . . . 40 5.3 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 v 6 Avaliação da influência da geração de grafos na classificação semissupervisionada 45 6.1 Descrição do modelo experimental proposto . . . . . . . . . . . . . 45 6.2 Avaliação dos resultados obtidos . . . . . . . . . . . . . . . . . . . 53 6.3 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 7 Avaliação da influência dos parâmetros de regularização na classificação semissupervisionada 59 7.1 Descrição do modelo experimental proposto . . . . . . . . . . . . . 60 7.2 Avaliação dos resultados obtidos . . . . . . . . . . . . . . . . . . . 85 7.3 Considerações finais . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 8 Conclusão 87 Referências Bibliográficas 95 Lista de Figuras 5.1 Padrão de gráfico para a avaliação da estabilidade dos classificadores semissupervisionados. . . . . . . . . . . . . . . . . . . . . . . 30 5.2 Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symKNN-RBF. 31 5.3 Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symKNN-RBF. 31 5.4 Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo mutKNN-RBF. 32 5.5 Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo mutKNN-RBF. 32 5.6 Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symFKNN-RBF. 33 5.7 Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symFKNNRBF. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 5.8 Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symKNN-HM. 34 5.9 Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symKNN-HM. 34 5.10Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo mutKNN-HM. 35 5.11Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo mutKNN-HM. 35 5.12Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symFKNN-HM. 36 5.13Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symFKNN-HM. 36 5.14Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symKNN-LLE. 37 5.15Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symKNN-LLE. 37 5.16Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo mutKNN-LLE. 38 vii 5.17Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo mutKNN-LLE. 38 5.18Estabilidade dos classificadores semissupervisionados para as partições de 10 exemplos rotulados usando o grafo symFKNN-LLE. 39 5.19Estabilidade dos classificadores semissupervisionados para as partições de 100 exemplos rotulados usando o grafo symFKNNLLE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 6.1 Padrão de gráfico para a avaliação da influência da geração de grafos na classificação semissupervisionada. . . . . . . . . . . . . 46 6.2 Avaliação dos métodos de geração de grafos na base de dados USPS usando as partições de 10 exemplos rotulados. . . . . . . . 47 6.3 Avaliação dos métodos de geração de grafos na base de dados USPS usando as partições de 100 exemplos rotulados. . . . . . . 47 6.4 Avaliação dos métodos de geração de grafos na base de dados COIL2 usando as partições de 10 exemplos rotulados. . . . . . . . 48 6.5 Avaliação dos métodos de geração de grafos na base de dados COIL2 usando as partições de 100 exemplos rotulados. . . . . . . 48 6.6 Avaliação dos métodos de geração de grafos na base de dados DIGIT-1 usando as partições de 10 exemplos rotulados. . . . . . . 49 6.7 Avaliação dos métodos de geração de grafos na base de dados DIGIT-1 usando as partições de 100 exemplos rotulados. . . . . . 49 6.8 Avaliação dos métodos de geração de g