AI分布式训练工具把模型训练摊到多卡多机,研发提速。它做数据并行、流水线和显存优化,算法团队常用它训大模型,也管容错和通信,挑的时候看框架兼不兼容、扩得顺不顺,以及断点怎么续。
面向大模型训练与推理的开源AI加速库,把显存切分、分布式并行、参数卸载和推理优化接到现有PyTorch项目里。