Nemotron Lightning 3.5 30B A3B

Oversikt. Nemotron 3.5 Lightning er en modell med åpne vekter fra NVIDIA som kombinerer en hybrid Mamba-2-, mixture-of-experts- og Attention-arkitektur med bare 3 milliarder aktive parametere av totalt 30 milliarder. Den er bygget for resonnering med kort svartid og agentiske arbeidsbelastninger, med en tankekjedemodus som utviklere kan slå av og på per forespørsel. Den passer godt når du vil ha resonneringsmodell-atferd uten svartidskostnaden til en tett, fullt aktiv stor modell.

Viktigste styrker. Den hybride Mamba-2- og mixture-of-experts-designen holder bare 3 milliarder parametere aktive per token, noe som er grunnlaget for den korte svartiden selv ved 30 milliarder parametere totalt. «Reasoning Mode» kan slås på for flertrinnsoppgaver som drar nytte av en synlig tankekjede, eller av for raskere og mer direkte svar – slik at én modell har to distinkte driftsmodi i stedet for å kreve to separate driftsoppsett. Arkitekturen fra NVIDIA støtter også kontekstvinduer på opptil 1 048 576 token ved drift på flere GPU-er, men det konfigurerte Stav-endepunktet betjener et lavere tak (se Begrensninger).

Når du bør bruke den. Bruk denne modellen til agentiske oppgaver eller flertrinnsresonnering der du vil ha muligheten til å inspisere en tankekjede før du stoler på det endelige svaret, og der svartid betyr mer enn antall parametere. Den passer godt til interaktiv chat og agentløkker som trenger å veksle mellom raske runder med lite resonnering (resonnering av) og dypere analytiske runder (resonnering på) innenfor samme økt. Den egner seg ikke til arbeidsbelastninger som krever bilde-, lyd- eller dokumentfilinndata, siden modellen bare aksepterer tekst.

Begrensninger. Modellen tar inn tekst og gir ut tekst – det er ingen støtte for visuelle inndata, lyd eller innebygd dokumentforståelse. Det Fireworks-endepunktet som er konfigurert i Stav, betjener for øyeblikket et kontekstvindu på 262 144 token, godt under modellens arkitektoniske maksimum, så applikasjoner som trenger hele 1 million token, støttes ikke gjennom dette endepunktet ennå. Treningsdataene slutter i september 2025, og Stav har foreløpig ikke bekreftet om det betjente endepunktet støtter strukturert/JSON-utdata eller funksjonskallskjemaer.

Suverenitetsnotat. Nemotron 3.5 Lightning er laget av NVIDIA, en amerikansk modellskaper med CLOUD Act-eksponering på sin egen infrastruktur. Modellen er utgitt med åpne vekter under NVIDIAs OpenMDW-1.1-lisens, og kan derfor også selvhostes på infrastruktur du velger selv, dersom du trenger å styre datalokasjon direkte i stedet for å stole på et tredjeparts endepunkt.