Morph-based speech retrieval: Indexing methods and evaluations of unsupervised morphological analysis

Abstract

Speech retrieval enables users to find information in collections of spoken material. Automatic speech recognition (ASR) is used to transform the spoken words into text, and information retrieval (IR) methods are used for searching. Traditional ASR systems have a predefined vocabulary of words, and any word that is out-of-vocabulary (OOV) can not be recognized. Typically, rare words are excluded, which is problematic for retrieval, because query words are often rare words such as proper names. The limited vocabulary is especially problematic for languages such as Finnish that have a very large number of distinct word forms. In this thesis, morpheme-like subword units are used for speech recognition and retrieval. The subword units, referred to as morphs, are discovered using a data driven method that learns morphological structure from text data. Using this approach, it is possible to recognize any word in speech, even a word that was not in the training data, as a sequence of morphs. A rule-based morphological analyzer could be used to find base forms of the recognized words for indexing. However, the vocabulary of the analyzer is also limited, and recognition errors cause further problems for the analyzer. Instead, in this work, morphs are used as index terms as well. In Finnish speech retrieval experiments, the morph-based approach is compared to using word-based language models in ASR, and to using base forms in retrieval. Also, morphs are compared for story segmentation of speech. The results show that morph-based language models clearly outperform word-based models in retrieval performance. As index terms, using morphs is about as efficient as using base forms, but combining the two approaches is better than either alone, especially when there are a high proportion of unseen words in the queries. The effect of unoptimal morph segmentations is reduced by using alternative morph segmentations of query words and by using latent semantic indexing. Even if the morph deemed most likely by the ASR is incorrect, it is possible that the correct one is among the candidates the ASR considers. Utilizing the candidates in retrieval can improve performance. In this thesis, a representation of ASR hypotheses called confusion network is used for extracting alternative recognition results. A rank-based weighting of index terms is proposed, and found to outperform posterior probability based weighting. This thesis also studies evaluation metrics for unsupervised morphological analysis methods. Application evaluations such as speech retrieval are time consuming and cannot be used during method development. Different linguistic evaluation metrics have been proposed and are compared in this thesis by e.g. correlating the metrics to the results of application performance.

Puhetiedonhaku mahdollistaa tiedon löytämisen puhuttua aineistoa sisältävistä kokoelmista. Puheentunnistusta käytetään muuttamaan puhutut sanat tekstiksi, ja tiedonhakumenetelmiä käytetään tunnistustekstistä etsimiseen. Perinteiset tunnistusjärjestelmät sisältävät ennalta määrätyn sanaston, jolloin sanaston ulkopuoliset sanat jäävät aina tunnistumatta oikein. Yleensä harvinaiset sanat jätetään pois, mikä on ongelmallista tiedonhaun kannalta, koska hakusanat ovat usein harvinaisia sanoja, kuten erisnimiä. Rajoitettu sanasto on erityisen ongelmallista kielille, joissa on runsaasti sanamuotoja, kuten suomelle. Tässä väitöskirjassa käytetään morfeemien kaltaisia sananosia tunnistukseen ja tiedonhakuun. Nämä morfeiksi kutsutut osat löydetään käyttäen ohjaamatonta menetelmää, joka oppii morfologista rakennetta tekstistä. Yhdistelemällä morfeja on mahdollista tunnistaa puheesta mikä tahansa sana, jopa sana, jota ei tavattu opetusaineistossa. Indeksoinnissa voidaan käyttää perusmuotoja, jotka saadaan sääntöpohjaisella morfologisella analyysaattorilla. Tällaisen analysaattorin käyttämä sanavarasto on kuitenkin rajoitettu, ja lisäksi tunnistusvirheet haittaavat sen toimintaa. Perusmuotojen sijaan tässä työssä käytetään morfeja myös indeksoinnissa. Suomenkielisissä puhetiedonhakutesteissä verrataan morfimenetelmää perinteisiin sanakielimalleihin tunnistuksessa ja perusmuotoihin tiedonhaussa. Tiedonhakutulosten perusteella morfikielimallit ovat selvästi parempia kuin sanakielimallit. Indeksoinnissa morfien käyttö on likimäärin yhtä tehokasta kuin perusmuotojen käyttö, mutta menetelmien yhdistäminen on tehokkainta, erityisesti silloin, kun opetustekstin ulkopuolisten sanojen osuus hakusanoista on suuri. Lisäksi epäoptimaalisten morfisegmenttien vaikutus vähenee, kun käytetään vaihtoehtoisia morfisegmentaatioita tai latenttia semanttista indeksointia. Vaikka morfi, joka tunnistimen mielestä on todennäköisin, on virheellinen, voi oikea morfi olla tunnistimen harkitsemien vaihtoehtojen joukossa. Näitä vaihtoehtoja voi hyödyntää haussa. Tässä työssä tunnistusvaihtoehdot esitetään konfuusioverkko-nimisessä rakenteessa. Vaihtoehtojen painottaminen niiden käänteisen paremmuusjärjestyksen mukaan havaitaan paremmaksi kuin painottaminen todennäköisyyden mukaan. Tässä väitöskirjassa tutkitaan myös evaluointimenetelmiä, joilla voi mitata ohjaamattomien morfologisten analyysimenetelmien toimintaa. Sovellusevaluaatiot, kuten puhetiedonhaku, ovat aikaavieviä eikä niitä voi käyttää kehitysvaiheen aikana. Erilaisia lingvistisiä evaluaatiomenetelmiä on ehdotettu, ja niitä verrataan esimerkiksi korreloimalla niiden tuloksia suorituskykyyn sovelluksissa.