Bayesian robust transformation and variable selection: A unified approach

The authors consider the problem of simultaneous transformation and variable selection for linear regression. They propose a fully Bayesian solution to the problem, which allows averaging over all models considered including transformations of the response and predictors. The authors use the Box-Cox family of transformations to transform the response and each predictor. To deal with the change of scale induced by the transformations, the authors propose to focus on new quantities rather than the estimated regression coefficients. These quantities, referred to as generalized regression coefficients, have a similar interpretation to the usual regression coefficients on the original scale of the data, but do not depend on the transformations. This allows probabilistic statements about the size of the effect associated with each variable, on the original scale of the data. In addition to variable and transformation selection, there is also uncertainty involved in the identification of outliers in regression. Thus, the authors also propose a more robust model to account for such outliers based on a t-distribution with unknown degrees of freedom. Parameter estimation is carried out using an efficient Markov chain Monte Carlo algorithm, which permits moves around the space of all possible models. Using three real data sets and a simulated study, the authors show that there is considerable uncertainty about variable selection, choice of transformation, and outlier identification, and that there is advantage in dealing with all three simultaneously. The Canadian Journal of Statistics 37: 361–380; 2009 © 2009 Statistical Society of Canada Nous considerons le probleme de la selection de transformations et de variables pour la regression lineaire. Nous proposons une approche Bayesienne a ce probleme qui nous permet de faire la moyenne de tous les modeles consideres y compris les transformations de type Box-Cox de la response et des predicteurs. Pour prendre en consideration le changement d'unite induit par les transformations, nous proposons d'examiner et d'estimer de nouvelles quantites a la place des coefficients de regression. Ces quantites nouvelles, que nous appellons coefficients de regressions generalises, peuvent etre interpretes comme les coefficients de regression dans l'unite originale des donnees, et ne dependent donc pas des transformations selectionees. En particulier, cela nous permet de faire de l'inference sur la taille des effets associes avec chaque variable, et ce, dans l'unite original des donnees. En plus des transformations, nous considerons aussi le probleme de la detection de valeurs aberrantes, ainsi que l'incertitude associee a cette detection. Pour modeliser ces donnees aberrantes, nous utilisons une loi de t avec un nombre de degres de liberte inconnu. L'estimation des parametres est faite en utilisant un algorithm MCMC efficace qui nous permet de traverser l'espace constitue de tous les modeles possibles. En utilisant trois jeux de donnees reelles ainsi que des donnees simulees, nous montrons que l'incertitude associee au choix de variables, de transformations et de donnees aberrantes est considerable, et qu'il est important que les trois selections soient considerees en meme temps. La revue canadienne de statistique 37: 361–380; 2009 © 2009 Societe statistique du Canada