Access Control and Machine Learning: Evasion and Defenses

Abstract

Machine learning (ML) and artificial intelligence (AI) systems have experienced significant proliferation during the recent years, for example in the new market of "machine learning as a service". ML is also increasingly being deployed in security-critical applications, such as access control systems. ML can be used to make security systems easier to use, or to defend against specific attacks, such as the "relay attack".

Such ML applications are particularly sensitive to the recent development of "adversarial machine learning", where weaknesses in machine learning systems are exploited to undermine some security-critical property. For example, "evasion attacks" undermine a ML system's prediction integrity, while "model extraction attacks" undermine the system's confidentiality. It has become increasingly important to evaluate ML applications against such undesired behavior.

The work described in this dissertation is divided into three parts. In the first part, I evaluate how security properties in so-called transparent authentication systems can be improved using machine learning, and describe how to evaluate security against strong adversaries. In the second part, I present state-of-the-art evasion and model extraction attacks against image classification systems. In the third part, I evaluate state-of-the-art hate speech classifiers against evasion attacks, and present a method of artificially creating credible fake restaurant reviews. Finally, I present general observations and conclusions about both transparent authentication, and the feasibility of using ML for purposes such as moderation.

Koneoppimis- ja tekoälyjärjestelmät ovat kokeneet suunnatonta suosiota viime vuosina. Koneoppimispalvelujen ulkoistamisesta on tullut Googlen kaltaisten suurten teknologiajättien liiketoimintaetu. Koneoppimista on myös yhä enemmän sovellettu tietoturvallisuuskriittisiin sovelluksiin, kuten käyttöoikeuksien valtuuttamiseen.

Koneoppimisella voidaan tehdä turvallisuusjärjestelmistä helppokäyttöisempiä, mutta myös turvata järjestelmiä tietyiltä haavoittuvuuksilta, kuten "linkkihyökkäykseltä" (eng. relay attack). Koneoppimisjärjestelmät ovat näissä käyttötarkoituksissa erityisen herkkiä viimeaikaiselle "vihamielisen koneoppimisen" (eng. adversarial machine learning) kehitykselle, jossa koneoppimisen heikkouksia hyödynnetään tiettyjen turvallisuuskriittisten ominaisuuksien heikentämiseen. Esimerkiksi "kiertohyökkäys" (eng. evasion) heikentää koneoppisjärjestelmän päätöksenteon eheyttä ja "louhintahyökkäys" (eng. model extraction) heikentää koneoppimisjärjestelmän luottamuksellisuutta. Tämänlaisten epätoivottujen käyttäytymisten arvioinnista on tullut yhä tärkeämpää koneoppimisjärjestelmissä.

Tämä väitöskirja on jaettu kolmeen osaan. Ensimmäisessä osassa esitän miten vaivattoman tietoturvan tietoturvaominaisuuksia voidaan edistää koneoppimisella ja esitän miten tälläisten järjestelmien tietoturvan tasoa pystytään arvioimaan. Toisessa osassa esitän alan tehokkaimpia kiertohyökkäyksiä ja louhintahyökkäyksiä kuvantunnistusalgoritmeja kohtaan. Kolmannessa osassa arvioin yksinkertaisten kiertohyökkäysten tehokkuutta vihapuheentunnistusalgoritmeja kohtaan ja esitän menetelmän, jolla voidaan keinoälyllisesti tuottaa uskottavan näköisiä valearvioita ravintoloille. Lopuksi esitän vielä yleisiä havaintojani ja päätelmiäni vaivattomasta tietoturvasta ja koneoppimisalgoritmien käytöstä muuan muassa moderointiin.