Uma Avaliação de Eficiência e Eficácia da Combinação de Técnicas para Deduplicação de Dados

Data Deduplication is the task of identifying and eliminating duplicate records in a single database. It is a complex process that involves several steps, including: defining blocking key, similarity function and indexing method. There are several approaches for each of these steps. In this context, the objective of this work is to find the best combination for such algorithms aiming to improve the efficiency and effectiveness of the deduplication process as a whole. To this end, we present an experimental evaluation using real and artificial datasets. The results point to distinct combinations that present better results in specific situations. Resumo. Deduplicação de dados é a tarefa de identificar e eliminar registros duplicados em um única base de dados. É um processo complexo que envolve várias etapas, incluindo: definição de chave de bloco, função de similaridade e método de indexação. Existem diversas abordagens para cada uma dessas etapas. Então, o objetivo deste trabalho é encontrar a melhor combinação para tais algoritmos visando melhorar a eficiência e eficácia do processo como um todo. Para tal, apresentamos uma avaliação experimental utilizando bases de dados reais e artificiais. Os resultados apontam para combinações distintas que apresentam melhor resultados em situações especı́ficas. 1. Introdução Devido a enorme quantidade de dados coletados e armazenados ao longo dos anos pelas empresas, agências de governo e projetos de pesquisa, o estudo de técnicas que permitam a análise, processamento e mineração dos dados de forma eficiente têm sido atraı́do pela acadêmia e indústria. Uma tarefa que tem ganhado relevância em muitos domı́nios de aplicação é a tarefa de deduplicação de dados. Deduplicação de dados é uma abordagem para identificar e eliminar registros duplicados em bases de dados. Registros duplicados são instâncias de dados que representam a mesma entidade no mundo real. Esta tarefa é referenciada por diversas nomenclaturas na literatura, incluindo: I) Data Deduplication e Duplicate Detection, quando o processo ocorre em uma única fonte de dados; e II) Record Linkage, Entity Resolution, Data Matching e Object Identification, quando são utilizadas várias fontes de dados [Christen 2012a]. ∗Trabalho desenvolvido enquanto estudava na UFRPE 32nd SBBD – Full Papers – ISSN 2316-5170 October 2-5, 2017 – Uberlândia, MG, Brazil