Laskennallisen puheen tutkimusryhmä

08.10.2017 -

Ryhmä kehittää uusia laskennallisia koneoppimisen menetelmiä puheen, kielen ja audion älykkääseen analyysiin. Tutkimusaiheita ovat mm. puhujantunnistus, äänikonversio, kielentunnistus, biometristen hyökkäysten tunnistus, sekä linnuston äänianalyysi.

Yksi puheteknologian tärkeimpiä tutkimusalueita on puhujantunnistus, henkilön identiteetin tunnistus äänen perusteella. Kehitämme sekä uusia perusmenetelmiä (esimerkiksi piirreirroitus-, segmentointi-, luokittelualgoritmit), että sovellamme näitä osana uusimpia puhujan- ja kielentunnistusmenetelmiä jotka nojautuvat vahvasti tilastollisen koneoppisen menetelmiin. Tutkimus pyrkii mm. parantamaan tunnistustarkkuutta meluisissa ympäristöissä sekä kehittämään vastatoimia huijaushyökkäysten tunnistukseen. Osallistumme säännöllisesti mm. NIST:in järjestämiin teknologia-evaluaatioihin sekä olemme myös olleet perustamassa uusia kansainvälisiä evaluaatioita puheteknologian alalla (ASVspoof). Ryhmä on saanut tutkimusrahoitusta mm. Suomen Akatemialta että H2020-ohjelmasta.

Tutkimusryhmän kuvaus

Yksi puheteknologian tärkeimpiä tutkimusalueita on puhujantunnistus, henkilön identiteetin tunnistus äänen perusteella. Kehitämme sekä uusia perusmenetelmiä (esimerkiksi piirreirroitus-, segmentointi-, luokittelu- ja datafuusioalgoritmit), että sovellamme näitä osana uusimpia puhujan- ja kielentunnistusmenetelmiä jotka nojautuvat vahvasti tilastollisen koneoppisen menetelmiin. Peruskysymys ja haastava tutkimusongelma on, kuinka tunnistaa henkilö robustisti äärimmäisen epätarkasta puhemateriaalista, joka on usein puhelinnauhoite tuntemattomassa tilassa sekä pilattuna tuntemattomalla taustamelulla tai huonekaiulla. Lisäksi ihminen itse pystyy tietoisesti muokkaamaan ääntään. Nämä haasteet vaativat älykästä kombinaatiota puheen signaalinkäsittelymalleista (sovellusalueen tietämys) yhdistettynä koneoppimisen menetelmiin, joilla opitaan mm. puhuja- ja kielispesifiset representaatioiden tuhansista tunneista annotoimatonta puhemateriaalia. Toinen tärkeä viimeaikainen tutkimussuunta, puhehyökkäysten tunnistus ja karakterisointi, liittyy erityisesti informaatioturvallisuuteen  kuinka erotella ihmisen tuottama aito puhe synteettisestä tai nauhoitetusta puheesta? Valeuutisten ja nopeasti kehittyvän puhesynteesiteknologian aikana aihe on nousemassa hyvin tärkeäksi  jo nykyisellä synteesiteknologialla voi tuottaa keinotekoista puhetta joka kuulostaa halutulta puhujalta. Ryhmä on ollut vetämässä tällaisten puhehyökkäysten tunnistusteknologiaa kansainvälisessä kärkijoukossa. Hiljattain päättyneessä H2020-rahoitteisessa OCTAVE-projektissa näitä menetelmiä toteutettiin pilvipalveluna pyörivään biometriseen autektikointijärjestelmään. Puhujantunnistuksen lisäksi ryhmässä tutkitaan myös kielen- ja aksentintunnistusta, sekä puhekonversiota (tietokoneella tehty imitaatio). Yksi viimeaikaisia fokuksia on myös tietokoneen ja ihmisten tekemien luokittelupäätösten vertailu ja fuusiointi em. tehtävissä.

Tutkimusryhmän sivut

Avainsanat

Ajanjakso

08.10.2017 -

Ryhmän jäsenet - UEF