标记为「SGLang」的所有文章
共找到 1 篇文章
本文以在线推理的端到端请求路径为分析对象。链路始于 HTTP 请求解析，经过进程间通信、请求调度、KV cache 管理、模型前向与采样，终止于增量文本或最终 JSON 响应。Transformer forward 是主要计算阶段，其输入与输出受调度状态、显存页表和张量并行通信共同约束。