X (Twitter)
local-llmai-tools
Original source

SGLang Day-0 支持 Qwen3.8-27B — RTX 5090 跑到 206 tok/s

Summary

SGLang 宣布 Day-0 支持 Qwen3.8-27B(@Alibaba_Qwen 開源):

性能數據:

  • RTX 5090 單卡:206.1 tok/s decode(NVFP4 + DSpark)
  • DGX Spark:38.28 tok/s decode

評價:

  • 稱 Qwen3.8-27B 為 “king of small models”
  • 在 agentic planning 和 long-horizon tasks 上再次提高標準

對比 CyberQ 用 vLLM 在 DGX Spark 測出的 19.95 tok/s(最快配置),SGLang 的 38.28 tok/s 快了接近一倍,可能是不同的量化/配置或測試方法差異。