AI混合专家训练工具训MoE大模型,省算力和快收敛。它做路由、并行和负载,算法和平台常用它,也做评测,挑时候看路由准不准、掉点少不少,以及训练稳不稳。
面向大模型训练与推理的开源AI加速库,把显存切分、分布式并行、参数卸载和推理优化接到现有PyTorch项目里。