BlendServe: Optimizing Offline Inference with Resource-Aware Batching

[pentium3]

https://arxiv.org/abs/2411.16102

[pentium3]

BlendServe 是一篇来自 UC Berkeley、UT Austin 等机构的系统论文（arXiv, 2024），专注于通过资源感知批调度来最大化离线批推理的 GPU 吞吐量。
​

核心问题
离线批推理（Offline Batch Inference）面向延迟不敏感的应用场景（如 OpenAI / Anthropic 的批处理 API，允许 24 小时窗口响应），其目标是最大化整体吞吐量而非单请求延迟。 现代多模态 LLM 的请求对计算和内存的需求差异极大，产生了两类优化机会：Prefix Sharing（共享 KV Cache 减少重复计算）和Resource Overlapping（将 compute-bound 与 memory-bound 请求混合调度，填满 GPU tensor core 和 HBM 带宽）。 但这两种优化的最优调度顺序存在天然冲突：prefix sharing 要求相似请求聚在一起，而 resource overlapping 要求异质请求交错执行。

核心设计：Resource-Aware Prefix Tree
BlendServe 的核心数据结构是资源感知前缀树（Resource-Aware Prefix Tree），在标准 Trie 结构之上，为每个节点附加了 Compute Density 指标：
​
ρ(r)= Mem(r) / Comp(r)

其中 Comp(r) 是请求的计算时间， Mem(r) 是内存访问时间。该指标将请求标注为 compute-intensive（高密度）或 memory-intensive（低密度）。 由于推理时输出长度未知，系统通过 Output Length Sampling 根据同前缀请求的语义相似性来估算输出长度，从而准确计算 density。
​

调度算法：Dual Scanner
调度阶段采用**双扫描器（Dual Scanner）**算法：同时从排好序的前缀树叶节点的左（compute-intensive）和右（memory-intensive）两端扫描，将两类请求动态混合进同一个 batch。 GPU 显存被动态分区，以在保证 prefix sharing ratio（>97% optimal）的前提下最大化资源重叠利用率。