Laster katalogen …
Microsoft · E5-familien
multilingual-e5-large-instruct
Flerspråklig tekst-embeddingmodell med åpne vekter fra Microsoft. 560 millioner parametere, 1024-dimensjonale vektorer og inndata på opptil 512 token.
Oversikt. multilingual-e5-large-instruct er en tekst-embeddingmodell med åpne vekter fra Microsoft, utgitt under MIT-lisensen. Den har 560 millioner parametere og 24 lag, er basert på xlm-roberta-large og trent med kontrastiv førtrening og finjustering. Den returnerer en 1024-dimensjonal vektor per inndata og leser opptil 512 token. Modellen er beskrevet i «Multilingual E5 Text Embeddings: A Technical Report» (Wang mfl., februar 2024).
Viktigste styrker. Én modell dekker de omtrent 100 språkene i xlm-roberta, slik at forespørsler og dokumenter på ulike språk havner i samme vektorrom. Forespørsler inneholder en kort instruks for oppgaven, noe som gjør at én modell kan betjene både henting, klassifisering og klynging. Med 560 millioner parametere er den liten og rimelig i drift for store dokumentsamlinger.
Når du bør bruke den. Bruk den til semantisk søk og hentingsforsterket generering (RAG) over flerspråklig innhold eller innhold på flere språk, til søk på tvers av språk, og til klynging eller klassifisering av korte tekster. Skriv hver forespørsel som «Instruct: {task description}\nQuery: {query}», for eksempel «Gitt et søk på nettet, hent relevante avsnitt som svarer på forespørselen». Lag embeddinger for dokumenter uten instruks.
Begrensninger. Inndata som er lengre enn 512 token forkortes, så lange dokumenter må deles opp i biter. Kvaliteten faller for språk med lite treningsdata. Cosinus-likhetsskårer samler seg mellom omtrent 0,7 og 1,0, så ranger resultater etter relativ skår heller enn en fast terskel. Forespørsler uten instruksprefiks gir svakere resultater.
0,10€per 1M inndata-token
