Trident: Adaptive Scheduling for Heterogeneous Multimodal Data Pipelines

[pentium3]

https://arxiv.org/pdf/2603.02075

[pentium3]

这篇发表于2026年3月的系统方向论文《Trident: Adaptive Scheduling for Heterogeneous Multimodal Data Pipelines》提出了一种针对异构多模态数据处理流水线（Pipeline）的自适应调度框架，旨在固定资源的计算集群上最大化端到端吞吐量并避免内存溢出（OOM）故障 。 [arxiv](https://arxiv.org/abs/2603.02075)

背景与挑战

随着大语言模型和多模态基础模型的普及，多模态数据准备流水线成为了关键的AI基础设施 。这类系统通常将CPU密集型的预处理任务与基于加速器（GPU/NPU/TPU）的推理任务交织在一起，并产生海量的中间数据 。在追求高吞吐量时，系统面临以下核心挑战： [arxiv](https://arxiv.org/abs/2603.02075)

• 负载的非平稳性：数据分布偏移（Regime shifts）、依赖于输入内容的推理耗时变化，以及瞬时的内存激增，会导致系统性能剧烈波动和频繁的OOM错误 。 [arxiv](https://arxiv.org/abs/2603.02075)
• 现有调度器的局限性：当前的调度器往往依赖简单的阈值进行自动扩缩容，或假设算子是同步且同构的，这在复杂的异步流水线中会造成严重的资源浪费和效率低下 。 [arxiv](https://arxiv.org/abs/2603.02075)

Trident 核心架构

为了解决上述问题，Trident 在 Ray Data 的基础上构建了一个紧密耦合的三层闭环控制架构 ： arxiv

• 观测层（Observation Layer）：负责为异步算子提供抗噪的性能估计 。它摒弃了在动态批处理和异步执行时容易失效的传统同步评估方法，转而采用**高斯过程回归（Gaussian Process Regression）**将工作负载特征映射为可持续的吞吐量 。该层还结合了异常过滤机制，剔除由上游数据饥饿或下游背压产生的噪音数据 。 arxiv
• 自适应层（Adaptation Layer）：作为感知负载的组件，它通过在线聚类实时检测工作负载的分布偏移 。为了应对复杂的显存分配策略和框架缓存行为，该层使用**受内存约束的贝叶斯优化（Memory-constrained Bayesian Optimization）**进行高效调优，为算子推荐既能保证高吞吐又能确保“OOM-safe”的配置 。 arxiv
• 调度层（Scheduling Layer）：将调度问题建模为**混合整数线性规划（MILP）**问题 。它在全局异构计算资源和网络带宽限制（如将带宽密集型相邻阶段部署在同节点以避免跨节点传输）的约束下，联合优化算子并行度、实例放置（Placement）以及配置的转换 。通过引入滚动更新机制（Rolling updates），它能够精确权衡配置切换带来的吞吐量增益与冷启动开销 。 [arxiv](https://arxiv.org/html/2603.02075v1)

此外，这三层形成了一个闭环反馈：一旦调度层执行了配置转换，就会触发观测层失效历史样本并刷新模型，以确保系统状态的全局一致性 。 arxiv

实验结果与评估

研究团队在两个具有生产代表性的场景中评估了 Trident：一是包含 PDF 解析、布局检测和基于 LLM OCR 的文档处理流水线；二是包含解码、场景检测和字幕生成的视频清理流水线 。 arxiv

实验结果表明，与静态基准相比，Trident 在文档（PDF）流水线上的端到端吞吐量最高提升了 2.01 倍，在视频流水线上提升了 1.88 倍 。不仅大幅超越了现有调度器，其极低的调度开销也完全满足在线重优化的需求 。 arxiv