Interaction with eyes-free and gestural interfaces

Abstract

Eyes-free interaction aims to control devices without the need to look at them. This is especially useful while driving, walking on a bustling street, or in other situations when looking at a display would be dangerous, inconvenient or restricted. Hand gestures and feedback with sound offer an eyes-free alternative to visual displays, and this thesis studies using them with devices and the surrounding environment. In this thesis work, advanced circular auditory menus and three parallel control methods for using them were developed. Essentially, the thesis work concentrated on a circular interaction metaphor in auditory menus, in which the gesture was mapped directly to the position in the menu. The introduced control methods and auditory menu properties were tested with user experiments, and a mobile application integrating auditory and visual menus was built. The three gestural control methods to control circular auditory menus included accelerometer-based, touch screen-based, and camera-based interaction. All control methods were proven accurate and fast enough for efficient eyes-free use. Additionally, the same control methods were used in both visual and auditory domains, which facilitates switching to eyes-free use when needed and may also improve the accessibility of the interface for visually impaired users. Results of user experiments showed that the introduced visual and auditory menu design was easy and intuitive to learn without extensive training. Furthermore, a solution for eyes-free access to large menus was proposed, and user experiments indicated that dynamic menu item placement is efficient, accurate, and allowed the use of large menus. This thesis also investigated the use of auditory displays and gesture interfaces in performing arts. The perceived shape and size of a space can be changed by applying different reverberation times in different directions using multiple reverberation systems. Implementing a reverberation system and a test setup for subjective evaluation validated this. The implemented reverberation system has been utilized in live opera performances and to enhance lecture room acoustics. The use of gesture control is explored in an experimental opera production in which the performers controlled an audiovisual virtual stage live. The live interaction was useful when user controlled media was directly mapped onto gestures and when detailed nuances of movement were hard for a technician controlling the media to follow.

Käyttöliittymiä joita ei tarvitse katsoa kutsuttaan eyes-free käyttöliittymiksi. Ne mahdollistavat turvallisemman laitteiden käytön tilanteissa, joissa näytön katsominen on hankalaa, vaarallista tai mahdotonta, kuten esimerkiksi autoa ajaessa tai kävellessä vilkkaalla kadulla. Käden eleillä ja äänipalautteella toteutetut eyes-free käyttöliittymät ovat vaihtoehto visuaalisille näytöille ja tässä väitöskirjassa esitellään niiden käyttämistä laitteiden ohjaukseen ja vuorovaikutukseen ympäristön kanssa. Tässä väitöstyössä tutkittiin edistyksellisiä äänivalikkoja, joita ohjattiin kolmella rinnakkaisella ohjausmenetelmällä. Käytetyt ohjausmenetelmät perustuivat käden eleisiin, joita seurattiin kiihtyvyysantureiden, kosketusnäytön tai kameran avulla. Pääasiallisesti väitöstyössä keskityttiin ympyränmuotoisen vuorovaikutusmetaforan käyttöön äänivalikoissa, joissa käden liike määritti paikan ympyrävalikossa. Esitettyjen ohjausmenetelmien ja valikkoratkaisuiden toimivuus arvioitiin käyttäjäkokeilla ja lisäksi toteutettiin älypuhelinsovellus, joka yhdisti ääni- sekä visuaalisten valikkojen toiminnallisuuden. Kolme kehitettyä äänivalikkojen ohjausmenetelmää osoitettiin käyttäjäkokeilla tarkoiksi ja riittävän nopeiksi käyttöön äänipalautteen kanssa. Lisäksi samat ohjausmenetelmät soveltuivat äänivalikon kanssa yhtenevän visuaalisen valikon ohjaamiseen, mikä voi helpottaa äänivalikon käyttöönottoa sekä parantaa käyttöliittymien yleistä soveltuvuutta näkövammaisille. Käyttäjätestin tulokset osoittivat, että audiovisuaalinen valikkoratkaisu oli helppo sekä intuitiivinen oppia ilman pitkää harjoittelua. Äänivalikkoihin kehitettiin myös uusi tapa selata isoja valikkorakenteita, joka todistettiin käyttäjäkokeilla tehokkaaksi. Tässä väitöskirjassa tutkittiin myös äänipalautetta ja elekäyttöliittymiä esittävässä taiteessa. Ympäröivän tilan havaittua kokoa ja muotoa säädeltiin muuttamalla sähköisesti seinistä tulevia äänten heijastuksia kaikulaitteilla. Tämä osoitettiin mahdolliseksi käyttäjäkokeilla ja varta vasten rakennetulla kaikulaitejärjestelmällä, jota käytettiin myös oopperatuotannossa sekä luentosalin akustiikan parantamiseen. Oopperatuotannon osana tutkittiin myös eleohjauksen ja audiovisuaalisen lavastuksen vuorovaikutusta. Esiintyjien käyttämä eleohjaus oli hyödyllistä etenkin improvisoitavissa kohtauksissa tai kun ulkopuolisen ohjaajan oli hankala seurata näyttelijöiden liikkeiden vivahteita.