Performance map of a cluster detection test using extended power

BackgroundConventional power studies possess limited ability to assess the performance of cluster detection tests. In particular, they cannot evaluate the accuracy of the cluster location, which is essential in such assessments. Furthermore, they usually estimate power for one or a few particular alternative hypotheses and thus cannot assess performance over an entire region. Takahashi and Tango developed the concept of extended power that indicates both the rate of null hypothesis rejection and the accuracy of the cluster location. We propose a systematic assessment method, using here extended power, to produce a map showing the performance of cluster detection tests over an entire region.MethodsTo explore the behavior of a cluster detection test on identical cluster types at any possible location, we successively applied four different spatial and epidemiological parameters. These parameters determined four cluster collections, each covering the entire study region. We simulated 1,000 datasets for each cluster and analyzed them with Kulldorff’s spatial scan statistic. From the area under the extended power curve, we constructed a map for each parameter set showing the performance of the test across the entire region.ResultsConsistent with previous studies, the performance of the spatial scan statistic increased with the baseline incidence of disease, the size of the at-risk population and the strength of the cluster (i.e., the relative risk). Performance was heterogeneous, however, even for very similar clusters (i.e., similar with respect to the aforementioned factors), suggesting the influence of other factors.ConclusionsThe area under the extended power curve is a single measure of performance and, although needing further exploration, it is suitable to conduct a systematic spatial evaluation of performance. The performance map we propose enables epidemiologists to assess cluster detection tests across an entire study region.RésuméContexteLes études de puissance ont montré leurs limites dans l’évaluation des performances des tests de détection d’agrégats. En raison de la nécessité de prendre en compte à la fois la capacité du test à rejeter l’hypothèse nulle et à localiser correctement l’agrégat, la puissance usuelle ne peut refléter la véritable performance de ces tests. De plus, ces évaluations ne traitent en général qu’un nombre limité d’hypothèses alternatives ignorant donc le comportement de ces tests sur l’ensemble d’une région d’étude. Takahashi et Tango ont proposé le concept de puissance étendue qui, au-delà de la puissance usuelle, reflète également la précision de localisation de l’agrégat. Nous proposons une méthode d’évaluation systématique, fondée ici sur la puissance étendue, pour produire une carte offrant une visualisation synoptique des performances des tests de détection d’agrégats sur l’ensemble d’une région.MéthodesDe façon à explorer le comportement d’un test de détection d’agrégats sur un même type d’agrégat pour toutes les localisations possibles, nous avons fixé quatre jeux de paramètres spatiaux et épidémiologiques, de façon à simuler quatre collections d’agrégats, chacune couvrant l’ensemble de la région d’étude. Mille jeux de données ont été simulés pour chaque agrégat et soumis au scan spatial de Kulldorff. A partir de l’aire sous la courbe de puissance étendue, nous avons produit une carte de performance pour chaque jeu de paramètres.RésultatsConformément aux précédentes études, la performance du scan spatial croît avec l’incidence de base de la maladie, la taille de la population à risque et la force de l’agrégat (i.e., le risque relatif). Cependant, même pour des agrégats très similaires, la performance du test est hétérogène, suggérant l’influence potentielle d’autres facteurs.ConclusionsL’aire sous la courbe de puissance étendue est une mesure unique de performance et, bien qu’elle nécessite des évaluations plus poussées, elle convient à l’évaluation spatiale systématique de la performance. La carte de performance que nous proposons autorise les épidémiologistes à évaluer les tests de détection d’agrégats sur l’ensemble d’une région d’étude.