GLM-5.3-FP4

Oversigt. GLM-5.3-FP4 er GLM-5.3, modellen med åbne vægte og mixture-of-experts fra Z.ai, kvantiseret til 4-bit NVFP4. De kvantiserede vægte kræver betydeligt mindre GPU-hukommelse end modellen med fuld præcision, så den kan betjenes til en lavere pris per token. Den er opført separat fra GLM-5.3, så en forespørgsel til modellen med fuld præcision aldrig lander på den kvantiserede version.

Vigtigste styrker. Den bevarer egenskaberne fra GLM-5.3 inden for brug af værktøjer, strukturerede uddata og langt kontekstvindue til en lavere pris end fuld præcision, med en kort tid til første token.

Anvendelsesområder. Brug den til chat, udkast, opsummering og agentiske arbejdsflow, hvor prisen betyder mere end de sidste procenter af nøjagtighed. Ved krævende kodegenerering eller lange ræsonneringsforløb bør du teste den mod GLM-5.3 med fuld præcision først.

Begrænsninger. 4-bit kvantisering kan sænke kvaliteten af uddata, oftest ved kode og lang ræsonnering. Stav har ikke målt, hvor stor effekten er. De viste benchmarkresultater for denne model stammer fra GLM-5.3 med fuld præcision og kan overvurdere denne version. Hastigheden på uddata er lavere end på endepunkter med fuld præcision af GLM-5.3.

Bemærkning om suverænitet. GLM-5.3 er en model med åbne vægte fra Z.ai (Kina). Vægtene kører på inferensleverandørens egen hardware, og ingen trafik sendes til Z.ai. Hvor en forespørgsel behandles, afhænger af det endepunkt, der betjener den.