ZeRO显存优化AI工具把训练状态分片省内存,大模型和实验室拿它训大模型,它做分片、通信和重启,也接框架和并行,团队靠它少卡显存。
面向大模型训练与推理的开源AI加速库,把显存切分、分布式并行、参数卸载和推理优化接到现有PyTorch项目里。