Spectral Clustering and Kernel PCA are Learning Eigenfunctions

In this paper, we show a direct equivalence between spectral clustering and kernel PCA, and how both are special cases of a more general learning problem, that of learning the principal eigenfunctions of a kernel, when the functions are from a Hilbert space whose inner product is defined with respect to a density model. This defines a natural mapping for new data points, for methods that only provided an embedding, such as spectral clustering and Laplacian eigenmaps. The analysis also suggests new approaches to unsupervised learning in which abstractions such as manifolds and clusters that represent the main features of the data density are extracted. Dans cet article, on montre une equivalence directe entre la classification spectrale et l'ACP a noyau, et on montre que les deux sont des cas particuliers d'un probleme plus general, celui d'apprendre les fonctions propres d'un noyau. Ces fonctions fournissent une base pour un espace de Hilbert dont le produit scalaire est defini par rapport a la densite des donnees. Les fonctions propres definissent une transformation de coordonnees naturelles pour de nouveaux points, alors que des methodes comme la classification spectrale et les 'Laplacian eigenmaps' ne fournissaient un systeme de coordonnees que pour les exemples d'apprentissage. Cette analyse suggere aussi de nouvelles approches a l'apprentissage non-supervise dans lesquelles on extrait des abstractions qui resument la densite des donnees, telles que des varietes et des classes naturelles.