AI + medborgarforskning = sant i Folke

I skrivande stund finns cirka 1 500 dialektinspelningar i den digitala arkivtjänsten Folke. För att göra inspelningarna mer tillgängliga har Språkbanken Sam startat ett projekt som kombinerar AI och medborgarforskning, berättar Liudmila Kazakbaeva, masterstudent i informationssystem vid Linnéuniversitetet.

Målet med projektet är att med hjälp av automatisk transkribering göra alla ljudfiler sökbara så att forskare och andra intresserade enkelt kan hitta de inspelningar man söker. Men tekniken har sina begränsningar. Ett annat mål med projektet är därför att undersöka möjligheten att kombinera medborgarforskning och AI-verktyg för taltranskribering av kulturarvsmaterial.

– Utmaningen är att den AI-teknologi vi använder är bra på standardsvenska men inte lika bra på att tolka äldre dialekter eller inspelningar med bristande ljudkvalitet. Därför behöver vi medborgarforskare som granskar transkriberingarna och annoteringarna och korrigerar det som blivit fel.

Språkbanken Sam har stegvis börjat arbeta med automatisk transkribering av de totalt 25 000 timmar material som finns i Isofs arkiv. Transkriberingen görs med hjälp av AI-modellen KB-Whisper som bland annat tränats på dialektinspelningar från Isof som digitaliserats av Språkbanken Sam. Nästan alla av de 1 500 dialektinspelningarna i Folke har nu transkriberats automatiskt och många har försetts med annoteringar som beskriver innehållet i korthet. Nu återstår att engagera medborgarforskarna.

– Forskning visar att människor kan tappa motivationen om de upplever att AI gör ett bättre jobb, men i själva verket är det tvärtom. AI gör grovjobbet genom att segmentera ljudet och föreslå en råtext. Därefter krävs människor som har språköra och den kulturella kontext som krävs för att verkligen förstå berättelserna.

Vidare förbättrar varje rättning en medborgarforskare gör inte bara det enskilda klippet utan även den underliggande KB-Whispermodellen. Deras insats är själva nyckeln till att materialet blir sökbart, vilket i sin tur hjälper alla framtida forskare och intresserade. En enda kort innehållsbeskrivning eller dialektkorrigering kan till exempel göra det möjligt för en släktforskare att höra sin farfars röst eller för en skolklass att få en känsla av hur det lät i Bohuslän för 80 år sedan, avslutar Ludmila Kazakbaeva.