SGLang 产品

来源: graphrag,githubLLM serving framework

5

技术栈

0

替代方案

0

相关事件

大语言模型大模型 / LLM
关系图谱

SGLang · 相关文章

相关文章

LLM Serving in the Wild: An Empirical Study of Frameworks, Methods, and System Designs
ArXiv CS.AI2026-08-05
WitCert: Sound Runtime Risk Observability and Gating for KV-Cache Quantization
ArXiv CS.AI2026-08-03
KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models
ArXiv CS.CL2026-07-20
面向 Agentic 负载的下一代 LLM 推理引擎设计实践｜AICon深圳
InfoQ 中文2026-07-14
RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference
ArXiv CS.CL2026-06-10
业界首次：DeepSeek-V4 基于国产AI芯片+SGLang RBG的云原生推理方案在招商银行落地
InfoQ 中文2026-06-10
谷歌发布 Gemma 4 12B，无需编码器的统一多模态模型
开源中国2026-06-04
超越 TurboQuant！OSCAR：面向真实 Serving 的 2-bit KV Cache量化
InfoQ 中文2026-05-29
摩尔线程 MUSA 合入SGLang主线，国产GPU开源生态从“代码共建”迈入“原生支持时代”
InfoQ 中文2026-05-13