Advances in Methods of Anomaly Detection and Visualization of Multivariate Data

Abstract

Successful machine learning applications have been developed in almost all fields where measurable data exists. For example, computers can learn the best treatment for a particular disease from medical records and self-customized programs can recommend different products for customers.

In this thesis, statistical and machine learning methods have been applied in both time series and static multivariate data sets, which have unknown and potentially useful information. Data can be understood better by developing new methods because a large number of data samples and variables makes it difficult to interpret the research materials. The research material for the development of anomaly detection methods and presenting the results consisted of process signal data from Olkiluoto nuclear power plant, the results of the Parliamentary elections and the answers of the voting advice application, and aggregated car inspection data.

The process state changes can be detected by the procedures and the visualization techniques developed in this research. These potential anomalies should be detected as soon as possible and in an early stage using the signal measurements. Challenges related to stochastic processes have been solved using recursive models and neural networks. The results related to the static multivariate data demonstrate that the combination of principal component analysis and probability distributions makes it possible to estimate missing values and understand the dependencies of the observations. A significantly larger number of missing data can be estimated by the recommender system and thus the resulting complete data can be explored by other machine learning methods e.g. by a self-organizing map. These methods make it possible to analyze the missing value dependencies of the multivariate data sets and thus improve the detection of anomaly observations.

Applying the machine learning methods discussed in this thesis; dramatically increasing information can be utilized more effectively. Data can be modified into an understandable form, detect existing anomalies in it and thus used as decision support regardless of the research area.

Menestyksekkäitä koneoppimisjärjestelmiä on kehitetty lähes kaikilla aloilla, joilla mitattavaa dataa esiintyy. Tietokoneet voivat esimerkiksi oppia parhaan hoitotavan tiettyyn sairauteen potilastiedoista ja itsestään kustomoituvat ohjelmat pystyvät suosittelemaan erilaisia tuotteita asiakkaille.

Tässä väitöskirjassa tilasto- ja koneoppimismenetelmiä sovellettiin sekä aikasarjoihin että staattisiin monimuuttajadatoihin, jotka sisältävät tuntematonta ja mahdollisesti hyödyllistä informaatiota. Dataa voidaan ymmärtää paremmin kehittämällä uusia menetelmiä, sillä suuri näytteiden ja muuttujien määrä vaikeuttaa tutkittavien aineistojen tulkintaa. Poikkeavuuksien tunnistamiseen tarkoitettujen menetelmien kehitystyöhön ja tulosten esittämiseen käytettiin prosessisignaalidataa Olkiluodon ydinvoimalasta, eduskuntavaalien tuloksia ja ehdokkaiden vaalikonevastauksia sekä aggregoituja autokatsastustilastoja.

Prosessitilan muutoksia voidaan havaita tutkimuksessa kehitetyillä menettelytavoilla ja visualisointitekniikoilla. Nämä mahdolliset poikkeavuudet olisi pystyttävä tunnistamaan signaalimittausten avulla mahdollisimman nopeasti ja varhaisessa vaiheessa. Stokastisiin prosesseihin liittyvät haasteet ratkaistiin käyttämällä rekursiivisia malleja ja neuroverkkoja. Staattisiin monimuuttujadatoihin liittyvät tulokset osoittavat sen, että pääkomponenttianalyysin ja todennäköisyysjakaumien yhdistelmällä on mahdollista estimoida puuttuvia havaintoja ja ymmärtää havaintojen välisiä riippuvuuksia. Huomattavasti suurempi määrä puuttuvaa tietoa pystytään estimoimaan suosittelujärjestelmän avulla ja siten tutkia täydennettyä aineistoa muilla koneoppimismenetelmillä, kuten itseorganisoituvalla kartalla. Nämä menetelmät mahdollistavat moniulotteisten aineistojen riippuvuuksien tutkimisen myös puuttuvien tietojen osalta ja siten edistävät poikkeavien havaintojen tunnistamista.

Väitöskirjassa kehitetyillä ja sovelletuilla koneoppimismenetelmillä pystytään tehokkaammin hyödyntämään rajusti lisääntyvää informaatiota. Data voidaan muuttaa ymmärrettävään muotoon, havaita siinä esiintyviä poikkeavuuksia ja siten käyttää päätöksenteon tukena sovellusalasta riippumatta.