Application of the Dice Coefficient to Accuracy Assessment of Object-Based Image Classification

Abstract A methodology is proposed to assess the accuracy of individual classes within the context of an object-based image classification scenario. The Dice Coefficient (DC) and bootstrapping techniques are employed to assess the level and statistical significance of overlap between reference and candidate image object pairs. Two approaches are used to optimize object extraction parameterization. First, rates of acceptable matches observed for the ensemble of reference objects can be used to estimate conventional measures of performance such as aggregate producer and user accuracies. Second, a novel assessment methodology is proposed that analyzes the significance of changes in the DC of individual overlap cases with changing ordinal threshold. This technique provides useful insights into the gain/loss trade-offs of acceptable matches with changing threshold level. Practical application of these methodologies is presented for the case of evaluating one-to-one reference/image object correspondence. An in-depth accuracy analysis is presented of the identification of 543 core hole drilling sites associated with oil sands development from RapidEye imagery using an image object extraction methodology based on grey-level ordinal thresholding. Although producer accuracy is limited to a maximum value of 69% due to adjacency of many core sites with other manmade structures, a simple shape regularity constraint (fraction of image object pixels that are boundary pixels) results in high user accuracy (87%). Finally, 2 additional issues are raised and discussed. First, selection of an acceptable match (i.e., DC) threshold must take into account differences between reference and image objects arising from their differing extraction approaches. This primarily impacts the boundary pixel portion of an object, which in turn is dependent on object size and shape. Second, for scenarios of targeted object classification, (i.e., most of an image is unclassified), an alternate strategy is utilized for reference-data acquisition. This involves acquiring comprehensive reference information for selected subsites to ensure proper estimates of commission. Résumé. Une méthodologie est proposée pour évaluer la précision des classes individuelles dans le contexte d'un scénario de classification orientée objet d'images. Le Dice Coefficient (DC) et des techniques de bootstrap sont utilisés pour évaluer le niveau et la signification statistique de chevauchement entre des paires images-objets de référence et candidate. Deux approches sont utilisées pour optimiser la paramétrisation de l'extraction des objets. Premièrement, les taux de correspondances acceptables observés pour l'ensemble des objets de référence peuvent être utilisés pour estimer les mesures conventionnelles de performance telles que les précisions agrégées des producteurs et des utilisateurs. Deuxièmement, une nouvelle méthode d'évaluation est proposée. Elle analyse l'importance des changements dans le DC pour les cas de chevauchement individuels avec un seuil d'ordination variable. Cette technique fournit des informations utiles sur les compromis de gain/perte de correspondances acceptables avec un niveau de seuil variable. Une application pratique de ces méthodologies est présentée dans le cas de l'évaluation de la correspondance une à une pour les objets références/images. Une analyse en profondeur de précision est présentée pour l'identification de 543 sites de trou de forage associé au développement des sables bitumineux à partir d'images RapidEye en utilisant une méthodologie d'extraction d'images-objets en fonction du seuillage ordinal du niveau de gris. Bien que la précision de producteur est limitée à une valeur maximale de 69 % en raison de la contigüité de nombreux sites de forage avec d'autres structures artificielles, une contrainte de forme de régularité simple (fraction des pixels d'images-objets qui sont des pixels limites) conduit à une grande précision de l'utilisateur (87 %). Enfin, 2 autres questions sont soulevées et discutées. Tout d'abord, la sélection d'un seuil de correspondance acceptable (à savoir DC) doit tenir compte des différences entre les objets de référence et d'image résultant de leurs approches d'extraction différentes. Cela influe principalement la portion de pixel limite d'un objet qui, à son tour, dépend de la taille et la forme d'objet. Deuxièmement, pour les scénarios de classification d'objets ciblés (à savoir, la majorité d'une image est non classée) une autre stratégie est utilisée pour l'acquisition de données de référence. Cela implique l'acquisition d'informations de référence complètes pour les sous-sites sélectionnés afin de garantir des bonnes estimations de commission.