SOSIAALINEN MEDIA Vihapuheen ja loukkaavan kommentoinnin määrä verkossa vain kasvaa. Sen hillitsemiseksi tarvitaan automaattisia työkaluja, jotka tunnistavat verkkopalvelujen sääntöjen vastaisen tai jopa laittoman sisällön.
Aalto-yliopiston Secure Systems -tutkimusryhmä on kuitenkin nyt löytänyt parhaistakin koneoppimiseen perustuvista vihapuheentunnistimista merkittäviä heikkouksia. Käyttäjien on yllättävän helppo kiertää vihapuheen suitsemiseen kehitettyjä tekoälytyökaluja.
Tarkoituksellinen tai tahaton huono kielioppi ja kirjoitusvirheet voivat tehdä vihanlietsonnasta ja loukkauksista tekoälylle vaikeita tunnistaa. Ryhmä kokeili seitsemän uuden tunnistamistyökalun tarkkuutta. Kaikki reputtivat testit.
Nykyaikaiset luonnollisen kielen prosessointiin käytetyt mallit pystyvät luokittelemaan tekstiä merkkien, sanojen ja lauseiden piirteiden perusteella. Kun mallit joutuvat analysoimaan tekstidataa, jollaista ei ole käytetty niiden opettamiseen, tulosten laatu alkaa kärsiä.
– Lisäsimme vihapuheeksi tai loukkaavaksi määriteltyjen kommenttien sekaan kirjoitusvirheitä, muokkasimme sanojen rajoja tai lisäsimme joukkoon neutraaleja sanoja. Välilyöntien poistaminen sanojen välistä osoittautui englanninkielisen sisällön manipuloinnissa tehokkaimmaksi. Kaikkia keinoja yhdistelemällä saimme jopa Googlen kommenttien arvottamiseen käyttämän Perspective-työkalun sekaisin, kertoo Tommi Gröndahl, Aalto-yliopiston tohtorikoulutettava.
Google Perspective luokittelee kommenttien loukkaavuutta tai toksisuutta eri tekstianalyysin menetelmien avulla. Vuonna 2017 Washingtonin yliopiston tutkijat osoittivat, että Perspectiveä voi kuitenkin huijata lisäämällä tekstiin pieniä kirjoitusvirheitä.
Gröndahl havaitsi kollegoineen, että Perspective on sittemmin oppinut tunnistamaan myös kirjoitusvirheet, mutta se on edelleen huijattavissa muunlaisella manipuloinnilla, esimerkiksi poistamalla välilyöntejä ja lisäämällä harmittomia sanoja, kuten love, rakkaus.
Perspectiven ja monen muun edistyneen vihapuheentunnistimen seulan läpäisi esimerkiksi lause ”I hate you” – minä vihaan sinua – kun se muokattiin muotoon ”Ihateyou love”.
Tutkijat huomauttavat, että asiayhteys määrittää pitkälti sen, tulkitaanko yksittäinen kommentti vihaksi vai vain asiattomaksi tai mauttomaksi. Vihapuhe on subjektiivista ja kontekstisidonnaista, ja tutkijoiden mukaan pelkät koneelliset tekstianalyysimenetelmät eivät riitä sen tarkkaan tunnistamiseen.
– Ihmiset muuttavat toimintaansa ja alkavat kokeilla eri tapoja kirjoittaa, koska he haluavat välttää kiinnijäämistä. Ollakseen tehokas tekoäly tarvitsee avukseen ihmisen tekemää tulkintaa, uskoo tutkimusryhmän johtaja, Aalto-yliopiston professori N. Asokan.
Ryhmän tulokset osoittavat myös, että vihapuheentunnistimet voisivat olla nykyistä tarkempia, jos ne analysoisivat tekstiä yksittäisten merkkien ja niiden yhdistelmien tasolla. Lisäksi kommenttien kontekstin luokittelua pitäisi saada hienovaraisemmaksi, jotta mallit osaisivat erottaa toisistaan esimerkiksi rasismin, seksismin ja henkilökohtaiset hyökkäykset.
Tutkimus tehtiin yhteistyössä Aalto-yliopiston Secure Systems -ryhmän ja Padovan yliopiston tutkijoiden kanssa. Tulokset esitellään lokakuussa ACM AISec -konferenssissa Torontossa.
Ryhmän artikkeli All You Need is ”Love”: Evading Hate-speech Detection on osa Aalto-yliopiston Secure Systems -ryhmän projektia, joka tutkii tekstianalyysin keinoin valheellisen tai vilpillisen sisällön tunnistamista verkossa.
- Päivän Lehti moderoi sosiaalisen median tilejään myös henkilökohtaisilla tarkastuksilla
Lue myös: Monet lapset ja nuoret eivät kerro seksuaalisesta häirinnästä aikuisille – merkittävin syy häpeä
Kommentoi Facebookissa