Llama-3.3-70B-Instruct

Oversigt. Llama-3.3-70B-Instruct er Metas tætte sprogmodel med 70 milliarder parametre, der er finjusteret til instruktioner. Den blev udgivet i december 2024 som en efterfølger med åbne vægte i Llama 3-serien. Den kombinerer et kontekstvindue på 128k tokens med tekst-ind og tekst-ud, og distribueres under Metas Llama 3.3 Community License til brug, hvor man vil køre selv eller bruge tredjeparts-inferens. Udviklere vælger den, når de ønsker en alsidig instruktionsmodel med stort kontekstvindue uden at være afhængige af et lukket API.

Vigtigste styrker. Som en tæt 70 milliarder-transformer med grouped-query attention undgår den den routing-kompleksitet, der findes i mixture-of-experts-løsninger, mens den stadig understøtter et fuldt kontekstvindue på 128k tokens til lange dokumenter og runder. Dens Llama 3-chatmal inkluderer eksplicit understøttelse af systemroller og indbygget formatering af verktøykall, hvilket gør den velegnet til struktureret, agentisk eller flertrins-prompting. Da der ikke var uafhængige benchmark-resultater tilgængelige i forskningen for denne model, er påstande om kvalitetsniveau og domænespecifik ydeevne bevidst udeladt her.

Anvendelsesområder. Brug denne model til opgaver med stort kontekstvindue — analyse af store dokumenter, lange samtaler over mange runder eller arbejdsflow, der kræver en systemprompt til at styre vedvarende adfærd. Den er en god kandidat, når der kræves uddata i verktøykall-stil, da Llama 3-instruktionsmalen har indbygget understøttelse af struktureret formatering af funktionskald. Da den har åbne vægte, passer den også til afdelinger, der ønsker at køre inferens på deres egen teknologi eller gennem et suverænt drevet endepunkt frem for en enkelt leverandørs lukkede API.

Begrænsninger. Modellen er kun til tekst — den har ingen egenskaber for billedforståelse, lydinddata eller lyduddata. Hvor træningsdataene slutter er december 2023, så den har ikke kendskab til nyere begivenheder. Den har heller ingen tilstand for udvidet tænkning eller ræsonneringsspor, og de maksimale grænser for uddata-tokens varierer efter hostingleverandør frem for at være fastsat af Meta på selve modelniveauet.

Bemærkning om suverænitet. Llama-3.3-70B-Instruct er skabt af Meta, en amerikansk virksomhed, men distributionen med åbne vægte betyder, at den kan tages i brug på suveræn infrastruktur med dataplacering i EU i stedet for at blive sendt gennem et USA-drevet API. På den måde undgår man at være underlagt CLOUD Act, når den drives således.