Decoding emotions from brain activity and connectivity patterns

Abstract

Emotions guide both human and animal behavior providing the means for survival in a constantly changing environment. Different emotions seem to be distinct from each other in several aspects, including physiological changes, bodily sensations, facial expressions, and subjective experience. Whether and how such emotion categories exist at the neural level remains however under debate. The goal of this dissertation was to employ pattern classification methods to investigate the neural underpinnings of different emotion states. Specifically, it was hypothesized that if different emotions have distinct neural bases, we should be able to reliably classify them from brain activity and connectivity patterns. Further, it was hypothesized that the classifier confusions presumably reveal which emotions have similar neural substrates.

Multiple emotional states were induced in four studies with altogether 109 participants using emotional movies, mental imagery, and narratives while participants' brain activity was measured with functional magnetic resonance imaging (fMRI). Several approaches to the fMRI data analyses were employed: multivariate pattern classification to distinguish voxel activity and functional connectivity patterns underlying different emotions, representational similarity analysis to compare experienced and neural similarity of different emotions, functional connectivity analysis to reveal emotional modulations in brain connectivity, univariate methods such as general linear model (GLM) to visualize the neural substrates of different emotions, and correlation analyses to compare the relationship of different emotions at different emotion-related components.

Results from these studies show that specific emotions can be classified from both voxel activity and functional connectivity patterns. Successful pattern classification of voxel activity across the whole brain shows that different emotions have distinct brain activity patterns that generalize across participants and across emotion induction techniques. Further, emotions that subjectively feel more similar also have more similar neural underpinnings. Functional connectivity is modulated by emotional content and shows distinct patterns for different emotions especially within the default mode network (DMN). DMN regions especially in the cortical midline, together with somatomotor, sensory, and subcortical areas, support most emotions. Finally, distinctness of emotions is related at the level of different components, including facial expressions, bodily sensations, emotional evaluations, subjective experiences, and neural substrates.

To conclude, emotions have distinct brain activity and connectivity patterns that encompass large extent of the brain. Emotions can thus be viewed as systemic states that, at a given moment, facilitate and constrain other mental functions.

Tunteet ohjaavat ihmisten ja eläinten käyttäytymistä tarjoamalla keinoja selviytyä jatkuvasti muuttuvassa ympäristössä. Eri tunteet eroavat toisistaan monin tavoin: eri tunnetiloihin liittyy erilaisia fysiologisia muutoksia, kehon tuntemuksia, kasvonilmeitä ja yksilöllisiä tunnekokemuksia. Tunnetutkimuksessa kuitenkin kiistellään siitä, miten eri tunnetilat eroavat toisistaan aivoissa. Tämän väitöskirjan tavoitteena oli hyödyntää koneoppimisen menetelmiä eri tunnetilojen hermostollisen perustan tutkimiseksi. Erityisesti oletettiin, että jos eri tunteilla on erillinen aivoperusta, ne pitäisi pystyä luokittelemaan aivojen aktiivisuuden ja yhteyksien muutosten perusteella. Lisäksi oletettiin, että käytetyn luokittelualgoritmin tekemät virheet paljastavat, millä tunteilla on keskenään samankaltaisempi hermostollinen perusta.

Eri tunnetiloja tuotettiin neljässä tutkimuksessa (yhteensä 109 vapaaehtoista osallistujaa) tunnepitoisten elokuvien, eläytymistehtävän ja tarinoiden avulla samalla, kun osallistujien aivojen aktivaatiota mitattiin toiminnallisella magneettikuvantamisella (fMRI). Datan analyysissa käytettiin useita eri lähestymistapoja: eri tunteisiin liittyviä vokselikohtaisia aktivaatioita ja funktionaalista konnektiviteettia eriteltiin koneoppimisen luokittelualgoritmeja käyttäen, eri tunteiden koettua ja hermostollista samankaltaisuutta vertailtiin samankaltaisuusanalyysia hyödyntäen, tunteiden aikaansaamia muutoksia aivojen konnektiivisuudessa tutkittiin funktionaalista konnektiivisuusanalyysia käyttäen, yksimuuttujamenetelmiä kuten lineaarista regressiota käytettiin eri tunteiden aivoperustan visualisointeihin ja korrelaatioanalyyseilla verrattiin tunnetilojen eroja tunteiden eri komponenteissa.

Tulokset osoittavat, että tunteita voidaan luokitella sekä vokseliaktivaatioiden että funktionaalisen konnektiviteetin muutosten perusteella. Onnistunut koko aivojen aktivaatioon perustuva luokittelu osoittaa, että eri tunteilla on erillinen aivoperusta, joka yleistyy henkilöstä ja tunteiden herättämistekniikasta toiseen. Lisäksi tunteilla, jotka koetaan samankaltaisempina, on myös samankaltaisempi aivoperusta. Tunne muokkaa funktionaalista konnektiviteettia, jonka tunnekohtaiset erot ovat selvimpiä aivojen lepotilaverkostoissa (default mode network, DMN). Aivojen keskilinjan rakenteiden lisäksi erityisesti somatomotoriset, sensoriset ja subkortikaaliset alueet aktivoituvat useimpien tunteiden aikana. Tunteiden erillisyys ilmenee eri komponteissa, kuten kasvonilmeissä, kehon tuntemuksissa, tunnesisällön arvioinnissa, yksilöllisessä tunnekokemuksessa sekä aivoperustassa.

Yhteenvetona voidaan todeta, että eri tunteisiin liittyy kullekin tunteelle tyypillinen aivojen aktivaatio ja konnektiviteetti, jotka kattavat suuren osan aivoista. Tunteita voidaan siis pitää aivojen tilana, joka kullakin ajanhetkellä vaikuttaa muihin mielen toimintoihin.