Finding Value in Big Data - Statistical Analysis of Large Data Sets with Applications in Electric Power Systems

Abstract

A growing volume of data is becoming available in the field of electric power systems. The hourly automatic meter reading (AMR) electricity consumption data available from small customers, such as households and small businesses, is a significant new data source. For example, geographic data, wind speed data and phasor measurement unit data add to both the quantity and the significant variety in the available data. This thesis presents how these large data sets can be utilized in power system studies using statistical methodology. A visualization and clustering of a large AMR data set is presented, and consumption models are then estimated for the discovered clusters, i.e., consumer groups. Statistical modelling is applied to wind speed and wind generation data from multiple locations, with the emphasis on understanding the effect of the geographical distribution of wind power. In addition, combined statistical modelling of stochastic distributed generation (e.g., wind and solar power) and electricity consumption is presented, which allows the effects of stochastic generation to be analysed at the distribution system level. Interesting system operation conditions (e.g., power flows, consumption, wind generation) affecting the expected damping of the 0.35 Hz inter-area oscillation in the Nordic power system are identified, and their use in the short term prediction of damping is demonstrated using statistical methods. Several different geographically varying risk factors affecting the expected fault rates in power distribution systems are also identified, and the use of the estimated fault rates in automatic network planning is presented. It is argued that the statistical analysis of electricity consumption and generation can also be used in automatic network planning. Although the volume and variety of data are important in enabling data analyses, the value that can be extracted from the data using appropriate data analysis methods is fundamentally the most important aspect. In this thesis, multiple data visualization techniques are presented for finding patterns in the large data sets. The discovered patterns are then modelled using statistical data models. The need to model the probability distributions of the relevant random variables in detail is emphasized. This is especially important in wind power modelling, and was achieved using Monte Carlo simulation.

Käytettävissä olevan datan määrä kasvaa sähkövoimajärjestelmäalalla nopeasti. Sähkönkulutuksen mittaaminen pieniltä asiakkailta, kuten kotitalouksilta ja pienyrityksiltä, automaattisesti tunneittain on merkittävä uusi datan lähde. Esimerkiksi paikkatietodata, säädata ja tuulituotantoa koskevat tiedot lisäävät saatavilla olevan datan moninaisuutta. Tässä väitöskirjassa esitellään kuinka tällaisia suuria aineistoja voidaan hyödyntää sähkövoimajärjestelmien tutkimuksessa. Väitöskirjassa esitellään miten suuria sähkönkulutusaineistoja voidaan visualisoida ja ryhmitellä. Löydetyille kulutusryhmille estimoidaan sähkönkulutusmallit. Useista kohteista mitattuun tuulennopeus- ja tuulituotantodataan sovelletaan tilastollisen mallinnuksen menetelmiä; tavoitteena on ymmärtää varsinkin tuulivoiman maantieteellisen hajautuksen vaikutukset. Työssä yhdistetään myös stokastisen hajautetun uusiutuvan energian tuotannon (esimerkiksi tuuli- ja aurinkovoiman) ja sähkönkulutuksen tilastollinen mallintaminen, mikä mahdollistaa niiden yhteisvaikutuksen analysoimisen jakeluverkkotasolla. Tilastollisia menetelmiä käytetään analysoitaessa pohjoismaisen voimajärjestelmän alueiden välisen 0,35 Hz heilahtelun vaimennuksen odotusarvon riippuvuutta voimajärjestelmän toimintaa kuvaavista muuttujista (esimerkiksi tehonsiirrosta, tuulivoimasta ja sähkönkulutuksesta). Esitetyt menetelmät soveltuvat myös lyhyen aikavälin vaimennuksen ennustamiseen. Väitöskirjassa esitetään miten useat eri maantieteellisesti vaihtelevat riskitekijät vaikuttavat vikataajuuden odotusarvoon sähkönjakelujärjestelmissä. Myös sijainnista riippuvan vikataajuuden käyttö automaattisessa jakeluverkon suunnittelussa esitellään. Työssä esitetään että myös sähkönkulutuksen ja stokastisen tuotannon tilastollista analyysiä voidaan käyttää hyödyksi automaattisessa jakeluverkon suunnittelussa. Vaikka datan määrä ja monimuotoisuus ovat tärkeitä data-analyysin mahdollistavia tekijöitä, analyysistä saatava lopputulos ja sen sovellettavuus sekä hyöty ovat lopulta tärkeimpiä analyysin onnistumisen mittareita. Väitöskirjassa esitellään useita sellaisia datan visualisoinnin menetelmiä, joilla suuresta datamäärästä voidaan löytää rakenteita ja struktuuria. Löydetyt rakenteet mallinnetaan tilastollisilla malleilla. Työssä korostetaan myös tarvetta mallintaa tärkeiden satunnaismuuttujien todennäköisyysjakaumat yksityiskohtaisesti. Tämä on erityisen tärkeää tuulivoiman tilastollisessa mallintamisessa, ja siihen päästään käyttämällä Monte Carlo ‑simulointia.