新闻中心News

PyTorch 发布分布式编程框架 Monarch：让分布式 AI 训练像单机一样简单

作者：霞舞 | 点击: | 来源：霞舞

2410
2025

PyTorch团队推出了全新的分布式编程框架Monarch，致力于大幅简化大规模机器学习任务的开发与部署流程。该框架采用创新的“单控制器（single-controller）模型”，使开发者仅需编写一段常规的Python脚本，即可高效掌控横跨数千张GPU的庞大集群训练过程。相比传统多控制器架构中需要手动处理同步、通信和容错等复杂环节，Monarch实现了全流程自动化。它将整个集群资源抽象为“可编程数组（meshes）”，让用户能够像操作普通张量一样灵活调度和管理整片GPU网格，极大提升了...

pytorch 团队推出了全新的分布式编程框架 monarch，致力于大幅简化大规模机器学习任

务的开发与部署流程。该框架采用创新的“单控制器（single-controller）模型”，使开发者仅需编写一段常规的 python 脚本，即可高效掌控横跨数千张 gpu 的庞大集群训练过程。

相比传统多控制器架构中需要手动处理同步、通信和容错等复杂环节，Monarch 实现了全流程自动化。它将整个集群资源抽象为“可编程数组（meshes）”，让用户能够像操作普通张量一样灵活调度和管理整片 GPU 网格，极大提升了代码的可扩展性与易用性。

Monarch 的主要特性涵盖：

进程与 Actor 网格 (Process / Actor Mesh)：以数组结构组织分布式任务与计算节点，支持切片访问和并行执行。
高效故障恢复机制：在超大规模训练场景下，自动应对节点宕机或进程中断，实现分钟级快速恢复。
类本地分布式张量：深度集成 PyTorch 生态，使分布式张量的操作体验接近本地张量，降低使用门槛。
交互式调试能力：支持在 Jupyter Notebook 中直接对分布式集群进行实时调试与控制。

目前，Monarch 已成功应用于大模型预训练和强化学习等领域。例如，在一个包含 16,000 张 GPU 的集群上运行 Megatron-LM 时，PyTorch 团队借助 Monarch 实现了高效的资源调度与稳定的容错管理，显著减少了因系统故障带来的训练中断损失。

Monarch 前端基于 Python 构建，便于开发者快速上手；后端则采用 Rust 打造，确保高并发下的通信性能与系统安全。该项目已在 GitHub 开源（https://www./link/b1f4cf3abb5cca5187cc8e102e99e02a），官方强调其设计愿景是让开发者“像编写单机程序一样轻松写出分布式 AI 代码”。

源码地址：点击下载

欢迎光临，我们是一家专注中小型企业营销推广服务的公司！

专注企业电商网络营销推广！免费电商SEO诊断，你可信任的网络推广专家

PyTorch 发布分布式编程框架 Monarch：让分布式 AI 训练像单机一样简单