Indlæser kataloget…
Indlæser kataloget…
Forbind den Mac mini eller GPU-server, du allerede kører, til dit Stav-arbejdsområde. Modellerne forbliver private for dig. Dine apps beholder én base-URL, én nøgle og én forespørgselslog.
Alt fra en Mac mini på skrivebordet til en dedikeret GPU-server i dit eget rack. Én Stav Tunnel-daemon per maskine, ét arbejdsområde til dem alle.
Tre Mac minis under tre skriveborde bliver til ét katalog. Hver maskine er en node; routeren vælger den, der er online.
Én GPU-maskine, alle udviklere. Hver person får en Stav-nøgle med et forbrugsloft, og hver forespørgsel lander i loggen. Ingen har brug for SSH.
Start med den maskine, du har. Tilføj serveren senere under samme modelnavn; intet i din app ændrer sig.
En fine-tune, en norsk Whisper, en kvantiseret version. Privat for dit arbejdsområde eller knyttet til dens katalogside.
Den sædvanlige måde at nå en maskine bag en firewall på er at lave et hul i den. Det gør Stav Tunnel aldrig. Maskinen rækker ud i stedet.
Stav Tunnel-daemonen åbner én forbindelse fra maskinen til Stav, i samme retning som en browser bruger til at åbne en hjemmeside. Det tillader alle firewalls allerede.
Din app kalder api.stav.ai som sædvanlig. Stav sender forespørgslen ned gennem den åbne forbindelse, din maskine svarer, og svaret kommer tilbage samme vej.
Stop Stav Tunnel-daemonen, eller tilbagekald noden i dit arbejdsområde, og så er der ingen vej tilbage. Intet forbliver åbent.
Start serveren, som du gør i dag. Stav Tunnel-daemonen finder den på maskinen og rapporterer de modeller, den betjener. Intet skal konfigureres om.
Den nemme måde at køre en model på en Mac eller en bærbar.
En desktop-app med en indbygget server. Slå den til i appen.
Den lette server, der kører på CPU'er og små GPU'er.
Det almindelige valg til GPU-servere. Chat, embeddings og Whisper.
En GPU-server bygget til mange forespørgsler på én gang.
Kører du noget andet? Enhver server, der taler OpenAI chat-API'et, fungerer, når du peger Stav Tunnel-daemonen mod den.
Erstat <your-token> med dit token fra dit arbejdsområde.
macOS eller Linux med Homebrew. Den sidste kommando gør den til en baggrundstjeneste, så den kører ved login og efter genstart.
brew install stavhq/tap/stav-tunnel stav-tunnel up --token <your-token> stav-tunnel service install
Tilføj en node i Forbind → Stav Tunnel for at få din token. Én kommando på maskinen, og modellerne er i dit arbejdsområde.
En forespørgsel til din egen maskine lander i samme log som en forespørgsel til en offentlig leverandør. Samme kolonner, samme filtre, samme eksport. Den eneste forskel er prisen.
Loggen skrives ved gatewayen, så den kender allerede dine noder.
Tokens tælles stadig, så brug per model og per nøgle lægges stadig sammen.
Se hvorfor den røg dertil: routerens valg og de næstbedste, for din node præcis som for alle andre.
Ét felt i router-editoren bestemmer, hvordan dine maskiner deltager. Indstil det per router, så en test-router kan blive på kataloget, mens produktion foretrækker dine noder.
En online node kommer først. Routeren falder tilbage til kataloget, når den er væk.
Kun dine noder. Hvis intet er online, afvises forespørgslen; der sker aldrig et stille skift til en tredjepart.
Routeren bliver på kataloget. Kald en node ved navn, når du vil bruge den.
Tilføj en node i Forbind → Stav Tunnel. Den første model dukker op, før kaffen er færdig.