Advances in Approximate Bayesian Inference for Gaussian Process Models

Abstract

Gaussian processes (GPs) provide a flexible approach to construct probabilistic models for Bayesian data analysis. In the Bayesian approach, GPs are used to specify prior assumptions on the latent function values that describe the underlying relationships between the explanatory variables and the associated target variables. These prior assumptions are combined with information from the observations using Bayes' rule. The obtained result is the posterior distribution that represents the uncertainty about the latent function values of interest, conditioned on the observations and the model assumptions. A challenge with the Bayesian approach is that exact inference is analytically intractable to calculate for most GP models used in practice. Therefore, approximate methods are needed in order to evaluate the posterior distribution and to make predictions for new observations.

This thesis develops methods for approximate Bayesian inference in various modelling problems involving GP models. The focus is on efficient ways to form Gaussian posterior approximations based on Laplace's method or expectation propagation (EP). The inference for the studied GP models is challenging in two aspects. Firstly, observation models are generalized in the way that the probability distribution for each observation can depend on multiple values of the latent function instead of only one value, or on the derivative values of the latent function. Secondly, instead of one prior process, the models can have multiple uncorrelated prior processes that are coupled through the observation model.

This thesis presents improvements to approximate Bayesian inference for GP models in density estimation, survival analysis, and multiclass classification. We describe Laplace's method for a logistic GP model and for a Cox-type survival model constructed from GP priors to speed up the inference. We develop a novel nested EP algorithm for multinomial probit GP classification that does not require numerical quadratures and scales linearly in the number of classes. In addition, we extend the existing methodology proposed for regression and binary classification by introducing monotonicity information into a GP model with EP. We demonstrate the practical accuracy of the described methods with several experiments and apply them to real-life modelling problems.

Gaussiset prosessit (GP) mahdollistavat joustavan lähestymistavan todennäköisyysmallien muodostamiseen bayesilaisessa tilastotieteessä. Bayesilaisessa päättelyssä gaussisilla prosesseilla voidaan määritellä priorioletuksia latentista funktiosta, jolla mallinnetaan selittävien ja ennustettavien muuttujien välistä tuntematonta yhteyttä. Näitä priorioletuksia päivitetään havainnoista saatavalla tiedolla Bayesin kaavaa käyttäen. Tuloksena saadaan posteriorijakauma, joka esittää tarkasteltavien latentin funktion arvojen epävarmuutta ehdollistettuna havainnoille ja mallioletuksille. Bayesilaisen mallinnuksen haasteena on, että täsmällinen päättely on useimmille GP-malleille laskennallisesti vaikeaa. Siksi posteriorijakauman ja uusien havaintojen ennusteiden laskemisessa joudutaan usein käyttämään likimääräisiä menetelmiä.

Tässä väitöskirjassa kehitetään menetelmiä, jotka mahdollistavat likimääräisen bayesilaisen päättelyn GP-malleille erilaisissa mallinnusongelmissa. Väitöstyö keskittyy tehokkaisiin tapoihin muodostaa gaussisia posteriorijakauma-approksimaatioita käyttäen Laplacen menetelmää tai expectation propagation (EP) -algoritmia. Päättelyyn liittyvä laskenta tutkittavilla GP-malleilla on haastavaa kahdessa suhteessa. Ensinnäkin havaintomalleja on yleistetty siten, että jokaiseen havaintoon liittyvä todennäköisyysjakauma voi riippua latentin funktion derivaatan arvosta tai useammasta kuin yhdestä latentin funktion arvosta. Toiseksi tutkittavat GP-mallit voivat rakentua yhden prioriprosessin sijaan useammasta riippumattomasta prioriprosessista, jotka kytkeytyvät toisiinsa havaintomallin kautta.

Tässä väitöstyössä esitetään menetelmiä likimääräiseen bayesilaiseen päättelyyn GP-malleille tiheysjakauman estimoinnissa, elinaika-analyysissa sekä usean luokan luokitteluongelmassa. Työssä kuvataan Laplacen menetelmä logistiselle GP-mallille sekä GP-prioreista rakennetulle Coxin elinaikamallille laskennan nopeuttamiseksi. Työssä kehitetään multinomi-probit-havaintomallille uudenlainen sisäkkäinen EP-algoritmi, joka ei tarvitse numeerisia integrointimenetelmiä toimiakseen, ja jonka laskennallinen rasite kasvaa enintään lineaarisesti luokkien lukumäärän suhteen. Lisäksi työssä esitetään regressio- ja luokittelumalleille menetelmä, joka mahdollistaa monotonisuustiedon lisäämisen GP-prioreihin EP-algoritmin avulla. Kuvattujen menetelmien tarkkuutta tutkitaan työssä monenlaisien kokeiden avulla ja menetelmiä sovelletaan käytännön mallinnusongelmiin.