Reservemodeller

Når koden din navngir en modell – model="openai/gpt-6.1-sol" – og den modellen ikke kan svare, prøver Stav først modellens andre leverandørendepunkter. En reservemodell er det som skjer deretter: andre modeller du har valgt, prøvd i rekkefølge.

Uten en reservemodell har en modell som betjenes av én inferensleverandør ingen vei å gå når leverandøren er nede. Med en reservemodell besvares forespørselen av neste modell på listen i stedet for å feile.

Slik setter du det opp

Gå til Arbeidsområdet ditt → Styr → Nøkkelpolicyer → Reservemodeller. Eiere og administratorer kan redigere; alle medlemmer kan se reglene.

En regel angir:

• modellen den gjelder for (den koden din navngir);
• én til tre reservemodeller, prøvd i rekkefølge;
• hvem den gjelder for: hele arbeidsområdet eller én API-nøkkel. En nøkkels regel erstatter arbeidsområdets regel for den modellen – de to slås aldri sammen;
• et kostnadstak: en reservemodell hvis forventede kostnad er mer enn dette antallet ganger den navngitte modellens kostnad, hoppes over. Standarden er 3.

Når du lagrer en regel for samme modell og tilgang, erstatter den den gamle.

Med MCP: model_fallbacks_list, model_fallbacks_set, model_fallbacks_delete.

Når en reservemodell brukes

En reservemodell brukes bare etter en feil en annen leverandør kan håndtere: en 5xx, en 429, en tidsavbrudd eller en leverandør Stav har tatt ut av rotasjonen. En 4xx forårsaket av forespørselen din prøves aldri på nytt med en annen modell – den ville blitt avvist der også.

En forespørsel gjør maksimalt fire kall totalt: den navngitte modellens endepunkter og reservemodellene deler denne grensen.

Hva en reservemodell aldri gjør

• Den forlater aldri policyen din. Hver reservemodell løses under de samme reglene som den navngitte modellen: suverenitetsgulvet ditt, beregningsregion, ZDR, ingen trening på dataene dine og blokkerte leverandører.
• Den er aldri mindre suveren. Et reserveendepunkt må ha samme suverenitetsnivå som endepunktet den navngitte modellen var i ferd med å bruke, eller høyere. En reservemodell uten kjent nivå hoppes over.
• Den overskrider aldri kostnadsgrensen din. En reservemodell over grensen, eller hvis pris er ukjent, hoppes over.

Hver reservemodell som hoppes over, navngis med årsaken i forespørselens rutingsdetaljer.

Slik kan du se det

• model og X-Stav-Model i svaret navngir modellen som svarte.
• X-Stav-Fallback-From navngir modellen du ba om (uten strømming; en strøms headere sendes før reservemodellen kan aktiveres).
• Arbeidsområdet ditt → Overvåk → Forespørselslogg: forespørselen viser «Besvart av reservemodellen din», med begge modellene.
• Rutingsdetaljene lister hvert kall forespørselen gjorde, i rekkefølge, og hvorfor andre endepunkter eller reservemodeller ble hoppet over.

Du faktureres for modellen som svarte, til katalogprisen.