Rutinghint
Felt per forespørsel som styrer rutingen uten å endre reglene dine – en sesjons-ID som holder en agentsløyfe på én modell, og leverandørfiltre for en låst modell. Hint kan bare stramme inn, aldri utvide.
Reglene for arbeidsområdet ditt og routerne bestemmer hva en forespørsel kan bruke. Rutinghint lar én forespørsel legge til detaljer på toppen. De utvider aldri hva reglene dine tillater.
Ingen hint sendes videre til en leverandør. Stav leser dem og fjerner dem før forespørselen går til leverandøren, slik at de ikke kan endre prompten eller bufferprefikset dens.
session_id – gi samtalen et navn
resp = client.chat.completions.create(
model="auto",
messages=[...],
extra_body={"session_id": "conv-8f21"},
)
Forteller Smart Router hvilken samtale denne forespørselen tilhører, slik at den kan huske hva den valgte forrige runde. Dette gjør det mulig for en agentsløyfe å holde seg på samme modell mens verktøykall venter på svar (se kontinuitetslåsen i Smart Router).
Godtas på /v1/chat/completions, /v1/messages og /v1/responses.
Stav finner samtalens identitet i denne rekkefølgen og bruker den første som finnes:
session_idi forespørselskroppen- forespørselsheaderen
X-Session-Id prompt_cache_keyi forespørselskroppen- et fingeravtrykk av starten på samtalen
Verdien hashes sammen med arbeidsområdet ditt og API-nøkkelen din, slik at to kunder som sender "default" aldri deler tilstand.
Svar kan inneholde en X-Session-Id-header. Send den tilbake i neste forespørsel hvis du vil at sesjonssporingen skal være nøyaktig i stedet for utledet.
provider – filtrer en låst modell
På /v1/chat/completions og /v1/messages, når du oppgir navnet på en modell, sjekker provider den modellen mot preferansene dine:
client.chat.completions.create(
model="mistralai/mistral-small-4-119b-2603",
messages=[...],
extra_body={"provider": {
"only": ["mistral"],
"max_price": {"prompt": 2.0, "completion": 6.0},
}},
)
| Felt | Effekt |
|---|---|
only | Inferensleverandør-slugs modellen må betjenes av |
ignore | Inferensleverandør-slugs som skal utelukkes |
max_price | Tak i EUR per 1 mill. token: prompt, completion. Modeller uten pris slipper gjennom |
quantizations | Tillatte kvantiseringsnivåer. Modeller uten registrert nivå slipper gjennom |
Hvis modellen ikke slipper gjennom, avvises forespørselen i stedet for å betjenes et annet sted.
sort, require_parameters og allow_fallbacks støttes ikke. Sender du noen av dem, får du 400 unsupported_parameter med navnet på feltet.
Se hva som skjedde
| Header | Betyr |
|---|---|
X-Stav-Model | modellen som betjente forespørselen |
X-Stav-Route-Reason | hvorfor den ble valgt |
X-Stav-Route-Lock | kontinuitetslåsen som holdt ruten (tool_loop, signed_thinking), eller none |
X-Session-Id | samtalens sesjons-ID, når en ble funnet |