kb-whisper-large

Oversikt. KB-Whisper Large er en svensk modell for automatisk talegjenkjenning, bygget av KBLab, forskningsenheten ved Nasjonalbiblioteket i Sverige. Det er en encoder-decoder-modell med 1,55 milliarder parametere – en finjustering av Whisper large-v3 – som produserer tekst fra lyd. Den ble trent gjennom totrinnstilpasset forhåndstrening og finjustering på henholdsvis rundt 56 500 timer og 8 533 timer med svensk tale. En utvikler velger den når oppgaven er svensk transkripsjon og kvaliteten fra en generell flerspråklig ASR-modell ikke er god nok. Den er utgitt under Apache-2.0 med offentlig tilgjengelige vekter.

Viktigste styrker. Modellens rapporterte ordfeiltall er 5,4 på FLEURS, 4,1 på CommonVoice og 5,2 på NST, mot 7,8, 9,5 og 11,3 for Whisper large-v3-grunnlinjen den er bygget fra – en betydelig forbedring på alle tre svenske evalueringssett. Totrinnstreningen på et stort omfang av svensk tale er årsaken til dette gapet, siden grunnmodellen ikke var spesialisert for språket. KBLab dokumenterer også tre transkripsjonsstiler for trinn 2 (standard, som er standard; subtitle for mer komprimert utdata; strict for mer ordrett utdata), slik at utdatastilen kan tilpasses oppgaven.

Når du bør bruke den. Bruk den til svensk lyd der transkripsjonsnøyaktighet er viktigere enn flerspråklig dekning: innspilte møter, intervjuer, kringkastingsmateriale og offentlige arkiver på svensk. Stilen strict passer der det trengs et ordrett referat, mens subtitle er bedre egnet når transkripsjoner skal brukes til visning eller teksting nedstrøms. Siden modellen har åpne vekter under Apache-2.0, er den også et alternativ når driften selv må kjøre på infrastruktur du kontrollerer, fremfor en leverandørs.

Begrensninger. Modellen er kun for svensk, og er derfor ikke et generelt flerspråklig ASR-valg. Den har et tak for tekstutdata på 448 token per 30-sekunders lydvindu, og den har ikke noe konvensjonelt kontekstvindu, ingen bildeinndata, ingen lydutdata, ingen verktøy- eller funksjonskall og ingen resonneringsnivåkontroller. Ingen dato for når treningsdataene slutter er oppgitt.

Suverenitetsnotat. KB-Whisper Large er bygget av KBLab ved Nasjonalbiblioteket i Sverige og utgitt med åpne vekter under Apache-2.0, slik at den kan driftes selv. Datalokasjon og datalagring for betjente kall er egenskaper ved det aktuelle endepunktet og vises per endepunkt på denne siden.