Partitive Techniques in Bayesian Data Analysis

Abstract

This dissertation analyses two popular methods used in Bayesian data analysis, that involve splitting the data set into disjoint sets. The analysed approximative methods include expectation propagation (EP) and leave-one-out cross-validation (LOO-CV), which are used in the context of distributed inference and model evaluation/comparison respectively. The main contribution of the dissertation is in analysing the applicability and behaviour of the methods under different situations. The EP algorithm is a popular method for approximating a factorisable density. In the Bayesian context, for tractability, it has usually been applied pointwise. However, by including multiple observations in one approximated factor component, the method can be seen as a flexible framework for distributed inference. In addition, in hierarchical settings, it provides a convenient mean for dimension reduction by concentrating parameter inferences to separate units. LOO-CV is a popular method used in model evaluation, comparison, and weighting for estimating the out-of-sample predictive performance of a model using the given observations. In some situations, obtaining the estimate is a computationally heavy operation. The dissertation addresses this issue in the context of Gaussian latent variable models (GLVM) by reviewing various more efficient methods for approximating the LOO-CV estimate. Based on the results, a suggestion of approaches with different levels of accuracy and computational complexity are proposed. As the variability of the LOO-CV estimator can be high in some problems, it is important to take into account the related uncertainty when applying the LOO-CV method in practice. The current popular ways of estimating the uncertainty often leads to considerably underestimating the variability. The dissertation studies the behaviour of the uncertainty in a model comparison setting both theoretically and experimentally and identifies problematic cases, in which the estimated uncertainty is badly calibrated. The problematic cases include small data size, models making similar predictions, and model misspecification. In addition, the dissertation proposes an improved estimator for the variance of the LOO-CV estimator in the case of a Bayesian normal model. The proposed estimator serves as an example of the possibility of obtaining improved model-specific uncertainty estimates. This approach has not been discussed in the literature before.

Tämä väitöskirja käsittelee kahta suosittua bayesilaisessa data-analytiikassa käytettyä menetelmää, joissa data jaetaan pistevieraisiin joukkoihin. Analysoitavat menetelmät ovat odotusarvon välittäminen (expectation propagation, EP), jota sovelletaan hajautettuun päättelyyn, ja jätä-yksi-pois ristiinvalidointi (leave-one-out cross-validation, LOO-CV), jota käytetään mallin evaluointiin ja vertailuun. Työn pääkontribuutio on menetelmien sovellettavuuden ja käyttäytymisen analysointi eri tilanteissa. EP-algoritmi on suosittu menetelmä, jolla voidaan approksimoida osittuva tiheysfunktio. Bayesilaisessa kontekstissa menetelmää on algebrallisen mukautuvuuden vuoksi yleensä sovellettu pisteittäin. Osittamalla useita havaintoja yhteen approksimoitavaan tekijään, menetelmää voidaan soveltaa joustavasti myös hajautettuun laskentaan. Tämän lisäksi sen avulla voidaan pienentää laskennallista dimensionaalisuutta hierarkisissa ongelmissa keskittämällä eri parametrien päättelyt eri yksiköille. LOO-CV on suosittu mallin evaluointi-, vertailu-, ja painotusmenetelmä, jolla voidaan estimoida havaintoaineiston ulkopuolista prediktiivistä suorituskykyä annetun havaintoaineiston perusteella. Joissain tilanteissa tämän estimaatin laskeminen on raskas operaatio. Väitöskirjassa tätä ongelmaa käsitellään Gaussinen latentti muuttuja -mallien (Gaussian latent variable models, GLVM) kontekstissa vertailemalla eri menetelmiä, joilla LOO-CV estimaattia voidaan approksimoida tehokkaammin. Tulosten perusteella esitetään suositellut lähestymistavat ongelman ratkaisemiseksi eri tarkkuuden ja laskennallisen vaativuuden tasoilla. Joissain ongelmissa LOO-CV estimaattorin vaihtelevuus voi olla suuri. Tämän vuoksi on tärkeää arvioida ja huomioida siihen liittyvä epävarmuus sovellettaessa menetelmää käytännössä. Nykyiset suositut menetelmät tämän epävarmuuden estimoimiseksi usein aliarvioivat vaihtelevuuden huomattavasti. Tämä väitöskirja tutkii epävarmuuden käyttäytymistä mallinvertailutilanteessa sekä teoreettisesti että kokeellisesti ja identifioi ongelmallisia tilanteita, joissa estimoitu epävarmuus on huonosti kalibroitu. Havaitut ongelmat esiintyvät tilanteissa, missä havaintojoukko on pieni, mallien ennusteet ovat samankaltaisia, ja mallit kuvaavat ilmiötä huonosti. Lisäksi väitöskirja esittää paremman estimaattorin LOO-CV estimaattorin varianssille bayesilaisen normaalimallin tapauksessa. Esitetty estimaattori toimii esimerkkinä mahdollisuudesta rakentaa parempia mallikohtaisia estimaattoreita LOO-CV estimaattorin epävarmuudelle. Tätä näkökantaa ei ole esitetty kirjallisuudessa aiemmin.