Robust algorithms for linear regression and locally linear embedding

Na atualidade um grande volume de dados e produzido na nossa sociedade digital. Existe um crescente interesse em converter esses dados em informacao util e o aprendizado de maquinas tem um papel central nessa transformacao de dados em conhecimento. Por outro lado, a probabilidade dos dados conterem outliers e muito alta para ignorar a importância dos algoritmos robustos. Para se familiarizar com isso, sao estudados varios modelos de outliers. Neste trabalho, discutimos e analisamos varios estimadores robustos dentro do contexto dos modelos de regressao linear generalizados: sao eles o M-Estimator, o S-Estimator, o MM-Estimator, o RANSAC e o Theil-Senestimator. A escolha dos estimadores e motivada pelo principio de explorar algoritmos com distintos conceitos de funcionamento. Em particular os estimadores M, S e MM sao baseados na modificacao do criterio de minimizacao dos minimos quadrados, enquanto que o RANSAC se fundamenta em achar o menor subconjunto que permita garantir uma acuracia predefinida ao modelo. Por outro lado o Theil-Sen usa a mediana de modelos obtidos usando minimos quadradosno processo de estimacao. O desempenho dos estimadores em uma ampla gama de condicoes experimentais e comparado e analisado. Alem do problema de regressao linear, considera-se o problema de reducao da dimensionalidade. Especificamente, sao tratados o Locally Linear Embedding, o Principal ComponentAnalysis e outras abordagens robustas destes. E proposto um metodo denominado RALLE com a motivacao de prover de robustez ao algoritmo de LLE. A ideia principal e usar vizinhancas de tamanhos variaveis para construir os pesos dos pontos; para fazer isto possivel, o RAPCA e executado em cada grupo de vizinhos e os pontos sob risco sao descartados da vizinhanca correspondente. E feita uma avaliacao do desempenho do LLE, do RLLE e do RALLE sobre algumas bases de dados.