Grants and residencies

Research and art

Koneoppimisen hyödyntäminen historiallisten lauluäänitteiden rekonstituutiossa – Maikki Järnefelt-Palmgrenin ääntä etsimässä

Application summary

Koneoppimisen kyky käsitellä ja jäsentää valtavia datamääriä äärimmäisen nopeasti avaa ennen näkemättömiä mahdollisuuksia tutkimukselle, luovuudelle ja innovaatiolle. Hankkeessani kehitän koneoppimismenetelmän, jolla voidaan parantaa historiallisten lauluäänitteiden äänenlaatua ja tuoda lähemmäksi nykypäivän standardeja, eli poistaa äänitystekniikasta ja ajan patinasta johtuvia häiriöääniä sekä generoida äänitysvaiheessa leikkaantuneet taajuudet. Tehtävään soveltuva koneoppimismenetelmä, syväoppiva hermoverkko, oppii analysoimalla dataa. Opetusdatan tarkoitus on johdattaa hermoverkko tunnistamaan erot historiallisen ja nykyaikaisen äänitteen välillä ja sen jälkeen generoimaan paranneltu versio, rekonstituutio, historiallisista äänitteistä. Opetus tapahtuu vastinpareilla, sama äänite nykyaikaisella ja historiallista äänitettä mallintavalla äänenlaadulla. Optimaalisen opetusdatan tuottaminen on merkittävä osa hanketta. Historiallisten äänitysten simulointi ja samanaikainen äänitys modernein menetelmin tuottaa vastinparin, mutta myös kokemusperäistä tietoa historiallisista äänitteistä ja esittämiskäytännöistä. Lisäksi opetusdataa tuotetaan uudelleenäänittämällä moderneja äänitteitä historiallisin menetelmin sekä tekemällä mallinnuksia. Hankkeen toteuttaminen vaatii perehtymistä historiallisiin äänityslaitteistoihin sekä musiikin esittämiskäytäntöihin ja esittäjiin. 1900-luvun alku on ollut monin tavoin merkittävää aikaa suomalaisen taiteen kannalta. Tuolta ajalta on lukuisia merkkiteoksia, joiden ääreen palaamme yhä vain uudestaan ja uudestaan. Äänitteiden joukosta löytyy myös kandidaatteja tähän merkittävien teosten joukkoon, vaikka suuri yleisö ei niitä tunnekaan. Historialliset äänitteet, historiallisella laitteistolla 2020-luvulla tehdyt äänitteet sekä rekonstituutiot tuottavat erityisen aineiston, josta riittää ammennettavaa tuleviin tutkimuksiin, mutta myös mielenkiintoista taide-elämyksiä suurelle yleisölle.

Historiallisten lauluäänitteiden restaurointi on monisyinen prosessi, jossa pyritään säilyttämään vanhojen äänitteiden kulttuurinen ja taiteellinen arvo. Restaurointia voi tarkastella ääniteknisestä, historiallisesta, eettisestä, kulttuurisesta tai esteettisestä näkökulmasta. Tässä hankkeessa ovat korostuneet äänitekninen ja historiallinen näkökulma, eli keskiössä on ollut äänenlaadun parantaminen, mutta myös kontekstin ymmärtäminen. Perehtyminen syvällisesti alan äänityslaitteistoon sekä restauroitavien levytysten esittäjän taiteeseen on ollut merkittävä osa tutkimusta. On ollut keskeistä varmistaa, että teknisen äänenlaadun parantuessa laulun emotionaalinen ja taiteellinen voima säilyy alkuperäisen kaltaisena. Hanke eteni suunnitellusti apurahajakson aikana. Jakson aikana solmitut yhteistyöt Surreyn yliopiston Early Recordings association-projektin sekä Aalto yliopiston akustiikan laboratorion kanssa ovat mahdollistaneet historiallisten äänitteiden simuloinnit sekä generatiivisen restauroinnin tutkimuksen korkealla tasolla. Tuotoksina syntyi artikkeli Monitaiteisen yhteistyön mustat ruusut - Maikki Järnefeltin medioitu ääni, joka julkaistiin Triossa Vol 12 Nro 2 (2023). Artikkeli perehtyy syvällisesti Maikki Järnefeltin vuosien 1904 ja 1906 levytysten kontekstiin sekä Maikki Järnefeltin laulutaiteeseen. Lisäksi yhteistyössä Aalto yliopiston tutkimusryhmän (Eloi Moliner, Filip Elvander and Vesa Välimäki) kanssa valmistui käsikirjoitus A Diffusion-Based Generative Equalizer for Music Restoration, joka raportoi historiallisten äänitteiden restaurointimenetelmän kehitystyöstä.

Back to Grants listing