SimpleTool: Parallel Decoding for Real-Time LLM Function Calling

[pentium3]

https://arxiv.org/abs/2603.00030

[pentium3]

这篇 SimpleTool 的核心贡献，是把传统 LLM function calling 中必须串行生成的 JSON/参数输出，重构成“函数名 + 多个参数槽位”的并行解码问题：它通过引入 <function>、<arg1>… 这类特殊 token，把冗余结构压缩掉，并把原本一条序列拆成多条共享前缀 KV cache 的解码流，从而显著降低实时函数调用延迟 。它成立的关键前提不是“模型学会了任意并行生成文本”，而是多数工具调用参数本身是弱依赖、可直接从输入中独立抽取的结构化字段；因此这更像一种面向 structured output 的工程化加速，而不是通用文本生成加速 。论文结果显示，该方法在 Qwen 系列模型上可带来约 3 到 6 倍端到端加速，4B 模型在消费级显卡上可达到 10Hz 以上的实时 function calling 速度，并且还能与 speculative decoding 这类方法正交叠加 。它的主要局限也很明确：如果参数之间存在强因果依赖，系统并不会自动识别，只能依赖 schema 设计、训练时的参数规范化/打乱，以及必要时将相关参数回退到同一条串行流中处理 。 arxiv