[Submitted on 29 Jul 2026]

View PDF HTML (experimental)

Abstract:专为高并发资源效率量身打造的高通量计算（HTC）环境，需要精密的编排机制来跨异构资源管理 PB 级数据。一个常常被忽视的关键挑战是工作流组合：即在有向无环图（DAG）中策略性地对任务集进行分组，以降低执行开销并最大化资源利用率。本文提出了一种新颖的模拟框架，用于刻画任务集粒度与系统级约束（如作业延迟、故障率、吞吐量和 I/O 带宽）之间的相互作用。
通过探索高维参数空间，我们量化了不同工作流拓扑的性能敏感性。实验结果表明，混合组合策略——动态平衡任务集独立性与执行分组——最高可带来 3.8 倍的吞吐量提升，以及 14.9 倍的网络开销降低。我们进一步提出一种多指标目标函数，支持策略驱动的优化，使系统架构师能够在吞吐量、I/O 成本和 CPU 效率之间的 Pareto 前沿上进行权衡。这些发现为分布式系统中的自动化工作流合成提供了坚实的理论基础，并为下一代科学管道提供了一种可扩展模型。所有相关产物均已公开。

Submission history

From: Alan Malta Rodrigues [view email]
[v1] Wed, 29 Jul 2026 13:07:31 UTC (957 KB)