Human abilities to perceive, understand, and manage multi-dimensional information with visualizations

Abstract

Visualizations facilitate presenting information in a form adapted to human visual system. The thesis defines this adapting more precisely with a framework of human-visualization interaction. Human capacity limits are used to identify critical subtasks in interaction that specify whether the data quantities and complexity of relations are understandable. In reality, use context and personal characteristics also impact understanding. The framework identifies commonalities of human processing in context of large quantities of multi-dimensional data. The novel extension is to identify multi-dimensionality from tasks of ordinary people, such as shopping or voting. According to the hypothesis ordinary people can also understand more complex information with the help of visualized dimension-reduction algorithms (e.g., MDS or SOM). Such context and haste give prominence to perceptual and cognitive processes, the critical subtasks, and the related visual parameters. Unfortunately, the interactive effects of the related parameters on performance cannot be predicted with real applications, and thus applied studies are needed.

The proposed multi-disciplinary framework is based on reviewing empirical findings about humans. First, cognitive science about human concept formation is used to provide indications about how to pre-processes data into more readily understandable form. Second, vision research, experimental psychology, and neuroscience are used to explain the interaction, when information is received through vision and the input is influenced through gaze shifts and manual operations. Third, findings are reviewed about conditions, in which processing is likely to be externalized to visualization or tool as opposed to being performed by human mind. The framework is then applied for psychophysically controlled reaction time and eye movement experiments based on selective review of methods and critical visual parameters in research of visual searching. The evaluated tasks, searching and integrating, were chosen based on both behavioral studies with visualizations and implications of the framework. The ordinary people interacting with visualizations were evaluated indirectly from the popularity, feedback, and observations during two Finnish elections.

The framework led to three suggested principles. First, externalizing memory tasks and information processing to visualizations reduces mental load. Second, relations of dimensions can be uncovered by perceiving consequences of own manual actions. Third, peripheral vision is suitable for representing coarse outlines, for instance depicting dimension reduction. Facilitating rapid gaze shifts is important for all of these principles.

Visualisoinnit mahdollistavat informaation esittämisen näköjärjestelmää laajasti hyödyntävässä muodossa kuvina. Väitöskirjassa määritellään näköjärjestelmän hyödyntämistä aiempaa täsmällisemmin ihmisen ja visualisoinnin vuorovaikutuksen viitekehyksen avulla. Ihmisen suorituskyvyn rajoitteita tarkastellaan kriittisissä osatehtävissä aineiston kasvaessa ja sen sisäisten yhteyksien monimutkaistuessa. Todellisuudessa ymmärryskykyyn vaikuttavat myös aiheyhteys ja ihmisten erityispiirteet. Viitekehys kuvaa ihmisille yhteisiä tiedonkäsittelyn piirteitä suurien ja moniulotteisten aineistojen yhteydessä. Erityisesti tarkastellaan tavallisten ihmisten kohtaamaa moniulotteisuutta esimerkiksi ostotilanteissa tai äänestettäessä. Esitetyn hypoteesin mukaan myös he voivat hyötyä ulottuvuuksien redusoinnista (esim. MDS tai SOM). Nämä olosuhteet ja kiire korostavat havaitsemisen ja kognition kannalta kriittisten osatehtävien ja visuaalisten ominaisuuksien merkitystä. Näiden visuaalisten ominaisuuksien yhteisvaikutuksia suoriutumiseen ei valitettavasti voida kuitenkaan ennustaa tarkasti todellisissa sovelluksissa, ja siksi tarvitaankin soveltavaa tutkimusta.

Esitetty viitekehys perustuu poikkitieteellisen ihmistutkimuksen katsauksiin. Ensiksi, käsitteenmuodostukseen syventyvää kognitiotiedettä sovelletaan aineiston esikäsittelemiseksi ymmärrettävämpään muotoon. Toiseksi, viitekehykseen liittyy näkötutkimusta, kokeellista psykologiaa ja aivotutkimusta, kun informaatiota vastaanotetaan näönvaraisesti ja tähän syötteeseen vaikutetaan silmiä liikuttelemalla ja käsin toimimalla. Kolmanneksi, katsauksessa arvioidaan olosuhteita, joissa toimintoja ulkoistetaan visualisointiin tai työkaluun mielen sisäisten toimintojen sijaan. Lopuksi, viitekehystä sovelletaan reaktioaikoja ja silmänliikkeitä mittaavissa psykofysiikan kokeissa, joiden menetelmät perustuvat valikoituun katsaukseen visuaalisesta hausta ja sen kriittisistä visuaalisista parametreista. Arvioitavat tehtävät, etsiminen ja yhdistely, valittiin visualisointien käytön tutkimusten ja esitetyn viitekehyksen perusteella. Tavallisten ihmisten visualisointien käyttöä arvioitiin epäsuorasti sovelluksen suosion, annetun palautteen ja havaintojen perusteella kaksissa suomalaisissa vaaleissa.

Viitekehyksestä johdettiin kolme periaatetta. (i) Muistin ja tiedonkäsittelyn ulkoistaminen visualisointeihin vähentää kognitiivista kuormitusta. (ii) Oman toiminnan seurauksien tarkkailu paljastaa ulottuvuuksien yhteyksiä. (iii) Ääreisnäkö soveltuu aineiston karkeille yleishahmoille, esimerkiksi esittämään ulottuvuuksien reduktiota. Nopean katseen kohdistamisen tukeminen on tärkeää kaikille näille periaatteille.