Laster katalogen …
Laster katalogen …
Koble Mac mini-en eller GPU-serveren du allerede kjører til Stav-arbeidsområdet ditt. Modellene forblir private for deg. Appene dine beholder én base-URL, én nøkkel og én forespørselslogg.
Alt fra en Mac mini på skrivebordet til en dedikert GPU-server i ditt eget rack. Én Stav Tunnel-daemon per maskin, ett arbeidsområde for alle sammen.
Tre Mac mini-er under tre skrivebord blir til én katalog. Hver av dem er en node; routeren velger den som er tilkoblet.
Én GPU-maskin, alle utviklerne. Alle får hver sin Stav-nøkkel med et forbrukstak, og hver forespørsel havner i loggen. Ingen trenger SSH.
Start med maskinen du har. Legg til serveren senere under samme modellnavn; ingenting i appen din endres.
En finjustert modell, en norsk Whisper eller en kvantisert versjon. Privat for arbeidsområdet ditt, eller koblet til sin egen side i katalogen.
Den vanlige måten å nå en maskin bak en brannmur på er å åpne et hull i den. Stav Tunnel gjør aldri det. Maskinen tar kontakt utover i stedet.
Stav Tunnel-daemonen åpner én tilkobling fra maskinen til Stav, samme vei som en nettleser bruker for å åpne en nettside. Alle brannmurer tillater allerede det.
Appen din bruker api.stav.ai som vanlig. Stav sender forespørselen ned den åpne tilkoblingen, maskinen din svarer, og svaret kommer tilbake samme vei.
Stopp Stav Tunnel-daemonen, eller trekk tilbake noden i arbeidsområdet ditt, så finnes det ingen vei videre. Ingenting forblir åpent.
Start serveren slik du gjør i dag. Stav Tunnel-daemonen finner den på maskinen og rapporterer hvilke modeller den betjener. Ingenting må konfigureres på nytt.
Den enkle måten å kjøre en modell på en Mac eller bærbar PC.
En skrivebordsapp med innebygd server. Slå den på i appen.
Den lette serveren som kjører på CPU-er og små GPU-er.
Det vanlige valget for GPU-servere. Chat, embeddinger og Whisper.
En GPU-server bygget for mange forespørsler samtidig.
Kjører du noe annet? Alle servere som støtter OpenAIs chat-API fungerer når du peker Stav Tunnel-daemonen mot dem.
Bytt ut <your-token> med tokenet fra arbeidsområdet ditt.
macOS eller Linux med Homebrew. Den siste kommandoen gjør den til en bakgrunnstjeneste, slik at den kjører ved innlogging og etter omstart.
brew install stavhq/tap/stav-tunnel stav-tunnel up --token <your-token> stav-tunnel service install
Legg til en node i Koble til → Stav Tunnel for å få et token. Én kommando på maskinen, og modellene er i arbeidsområdet ditt.
En forespørsel til din egen maskin havner i samme logg som en forespørsel til en offentlig leverandør. Samme kolonner, samme filtre, samme eksport. Den eneste forskjellen er kostnaden.
Loggen skrives i gatewayen, så den kjenner allerede nodene dine.
Token blir fortsatt talt, så bruk per modell og per nøkkel summeres fortsatt opp.
Se hvorfor den havnet der: valget til Smart Router og de andre kandidatene, for din node som for alle andre.
Ett felt i router-editoren bestemmer hvordan maskinene dine deltar. Velg dette per router, slik at en testrouter kan bruke katalogen mens produksjon foretrekker dine egne noder.
En tilkoblet node velges først. Routeren faller tilbake til katalogen når noden er borte.
Bare dine egne noder. Hvis ingen er tilkoblet, avvises forespørselen; det skjer aldri et umerket bytte til en tredjepart.
Routeren holder seg til katalogen. Bruk en node ved navn når du ønsker det.
Legg til en node i Koble til → Stav Tunnel. Den første modellen dukker opp før kaffen er klar.