Grants and residencies

Research and art

Koneoppimisen hyödyntäminen historiallisten lauluäänitteiden rekonstituutiossa: Maikki Järnefelt-Palmgrenin ääntä etsimässä

Application summary

Koneoppimisen kyky käsitellä ja jäsentää valtavia datamääriä äärimmäisen nopeasti avaa loputtomasti mahdollisuuksia tutkimukselle, luovuudelle ja innovaatiolle. Hankkeessani kehitetään koneoppimismenetelmä, jolla voidaan parantaa historiallisten lauluäänitteiden äänenlaatua ja tuoda lähemmäksi nykypäivän standardeja, eli poistaa äänitystekniikasta ja ajan patinasta johtuvia häiriöääniä sekä generoida äänitysvaiheessa leikkaantuneet taajuudet. Tehtävään soveltuva koneoppimismenetelmä, syväoppiva hermoverkko, oppii analysoimalla dataa. Opetusdatan tarkoitus on johdattaa hermoverkko tunnistamaan erot historiallisen ja nykyaikaisen äänitteen välillä ja sen jälkeen generoimaan paranneltu versio, rekonstituutio, historiallisista äänitteistä. Historiallisten äänitysten simulointi, eli äänittäminen historiallisin menetelmin ja samaan aikaan toteutettu moderni äänitys tuottaa vastinparin, jonka avulla voidaan arvioida hermoverkon toimintaa. Lisäksi vastinparin avulla avautuu mahdollisuus verrata historiallisten äänityslaitteiden vaikutusta laulajan ääneen. Äänityksistä saatava kokemusperäinen tieto historiallisista äänitteistä ja esittämiskäytännöistä, auttaa analysoimaan historiallisia äänitteitä entistä herkemmällä korvalla. Hankkeen toteuttaminen vaatii perehtymistä historiallisiin äänityslaitteistoihin sekä musiikin esittämiskäytäntöihin ja esittäjiin. 1900-luvun alku on ollut monin tavoin merkittävää aikaa suomalaisen taiteen kannalta. Tuolta ajalta on lukuisia merkkiteoksia, joiden ääreen palaamme yhä vain uudestaan ja uudestaan. Äänitteiden joukosta löytyy myös kandidaatteja tähän merkittävien teosten joukkoon, vaikka suuri yleisö ei niitä tunnekaan. Historialliset äänitteet, historiallisella laitteistolla 2020-luvulla tehdyt äänitteet sekä rekonstituutiot tuottavat erityisen aineiston, josta riittää ammennettavaa tuleviin tutkimuksiin, mutta myös mielenkiintoista taide-elämyksiä suurelle yleisölle.

Apurahan aikana viimeisteltiin tohtorihanke, jonka tavoitteena oli kehittää koneoppimiseen perustuva historiallisten lauluäänitteiden restaurointimenetelmä. Työ sisälsi perehtymisen historiallisiin äänityslaitteisiin ja -prosesseihin sekä äänittäjien ja muusikoiden näkökulmiin. Lisäksi analysoitiin restaurointikohteena olevia äänitteitä ja pohdittiin eettisiä kysymyksiä automaattisen AI-pohjaisen restauroinnin vastuista.
Apurahan aikana kirjoitettiin käsikirjoitus yhteistyössä Aalto-yliopiston tohtoriopiskelija Eloi Molinerin sekä professori Vesa Välimäen kanssa. Artikkelikäsikirjoitus syventyi erityisesti restauroinnissa hyödynnettävän datan merkitykseen. Merkitystä arvoitiin mm. kuuntelutestissä, jossa vertailtiin historiallisin ja modernein menetelmin äänitettyjä ottoja sekä restauroituja versioita, joiden tuottamisessa oli käytetty erilaista opetusdataa. Tömön myötä saimme tietoa menetelmän tarkkuudesta ja hienosäätödatan vaikutuksesta.
Ennen apurahajaksoa tehty historiallisten äänitysten simulaatio Surreyn yliopistossa toi myös uuden näkökulman hankkeeseen. Omakohtainen kokemus tarjosi arvokasta tietoa laulajien sopeutumisesta äänitystilanteisiin ja syvensi ymmärrystä äänitysmenetelmän vaikutuksesta lopputulokseen. Tutkimuksen taiteellinen ja kokemusperäinen näkökulma dokumentoitiin videoin ja digitaalisin äänittein, jolloin historiallisten ja modernien äänitteiden vertailu mahdollistuu myös kuulijalle. Tulokset julkaistaan ekspositiona.
Apurahan aikana valmistui yksi käsikirjoitus, joka on vertaisarviossa. Toinen eteni hyvään vaiheeseen. Työ vahvisti tekijän asiantuntijuutta historiallisten äänitteiden tutkimuksessa, laulajana ja musiikkiteknologina, sekä loi valmiuden jatkaa tutkimusta tohtorintutkinnon jälkeen. Hankkeessa yhdistettiin useita tutkimusmenetelmiä, ja se tuotti syvällistä ymmärrystä historiallisten äänitteiden luonteesta sekä restaurointiprosessin merkityksestä.

Back to Grants listing