kb-whisper-large

Oversigt. KB-Whisper Large er en svensk model til automatisk talegenkendelse bygget af KBLab, forskningsenheden ved det svenske nationalbibliotek. Det er en encoder-decoder-finjustering af Whisper large-v3 med 1,55 milliarder parametre, der genererer tekst fra lyd. Den er trænet gennem to faser med fortsat prætræning og finjustering på cirka 56.500 timer og derefter 8.533 timers svensk tale. Som udvikler vælger du denne model til svensk transskribering, når kvaliteten af en generel flersproget ASR-model ikke er god nok. Den er udgivet under Apache-2.0 med åbne vægte, der kan downloades offentligt.

Vigtigste styrker. Modellens rapporterede ordfejlrater (WER) er 5,4 på FLEURS, 4,1 på CommonVoice og 5,2 på NST, sammenlignet med 7,8, 9,5 og 11,3 for Whisper large-v3-baselinemodellen, hvilket er en væsentlig reduktion på tværs af alle tre svenske testsæt. Årsagen til dette spring er træningen i to faser på en stor mængde svensk tale, da basemodellen ikke var specialiseret til sproget. KBLab dokumenterer desuden tre transskriberingsstile i fase 2 (standard, som er standardvalget; subtitle for mere kondenserede uddata; strict for mere ordret gengivelse), så stilen kan ramme opgavens behov.

Anvendelsesområder. Brug den til svensk lyd, hvor nøjagtigheden i transskriberingen er vigtigere end flersproget dækning: optagede møder, interviews, udsendelser og arkiver i den offentlige sektor på svensk. Den strenge stil (strict) passer til tilfælde, der kræver en ordret gengivelse, mens subtitle er bedre egnet, når transskriptionerne skal bruges til visning eller undertekster. Da modellen har åbne vægte under Apache-2.0, er den også en kandidat, når selve driften skal køre på infrastruktur, du selv kontrollerer, frem for hos en leverandør.

Begrænsninger. Modellen er kun til svensk, så den er ikke et valg til generel flersproget talegenkendelse. Den har en grænse for uddata på 448 tokens per 30 sekunders lydvindue, og den har intet konventionelt kontekstvindue for tokens, ingen billedforståelse, ingen lyduddata, ingen værktøjskald eller funktioner og ingen ræsonneringsniveauer. Der er ikke oplyst nogen dato for, hvor træningsdataene slutter.

Bemærkning om suverænitet. KB-Whisper Large er bygget af KBLab ved det svenske nationalbibliotek og udgivet med åbne vægte under Apache-2.0, så den kan køre selv. Dataplacering og opbevaring for kald, der drives af en leverandør, afhænger af det enkelte endepunkt og vises for hvert endepunkt på denne side.