SuperLim ska förbättra svenska språkmodeller

Nu släpper Språkbanken Text SuperLim 1.0 , en datasamling som kan användas för testning och utvärdering av svenska språkmodeller. Släppet är en del i projektet SuperLim, ett samarbete med aktörer inom språkteknologi och artificiell intelligens.

Det saknades länge stora språkmodeller för svenska. Nyligen har dock flera språkmodeller utvecklats, bland annat av KB-labb, och fler är under utveckling där och på annat håll. Modellerna tränas på stora mängder text för att kunna analysera och strukturera texter och förstå språk. Modellerna kan till exempel sammanfatta texter, mäta hur lika de är eller göra analys av vilken attityd som uttrycks i delar av texten. Språkmodeller kan förbättra alla typer av språkteknologiska tillämpningar för svenska texter och vara till användning både inom forskningen och den privata och offentliga sektorn. 

–  Det är jättebra att vi äntligen har språkmodeller på svenska, däremot är det svårt att utvärdera dem. Därför har vi tagit fram en samling med tretton utvärderingsmängder som vi kallar SuperLim. Alla aktörer kan använda samlingen för att testa modellerna och se hur bra de är på att förstå språket, berättar Aleksandrs Berdicevskis, en av deltagarna i projektet.

Projektet är ett samarbete mellan Språkbanken Text, KB-labb, forskningsinstitutet RISE och AI Sweden och använder en strategi för utvärdering som delvis följer den engelska förlagan (Super)Glue Länk till annan webbplats. .

En viktig del i utvärderingen är att ta reda på om modellerna har statistiska skevheter, exempelvis att modellerna kodar in fördomar, för att i så fall kunna hantera dem på lämpligt sätt.

–  Tidigare studier visar att språkmodellerna är känsliga för vilken data de tränas på och de speglar ofta de fördomar som vi människor har och som funnits med i träningsdata. Det kan till exempel handla om rasistiska fördomar eller att en språkmodell antar att en läkare är en man och en sjuksköterska är en kvinna. Det är viktigt att utvärdera och förbättra språkmodellerna så att vi kan motverka de fördomar som blir inbyggda i modellerna, säger projektdeltagaren Yvonne Adesam.