AI模型量化工具把大模型压小跑得快,端侧和成本快。它做权精、蒸馏和部署,算法和嵌入式常用它,也保精度,挑时候看掉点少不少、支持哪些格式,以及能不能导进手机。
面向大模型训练与推理的开源AI加速库,把显存切分、分布式并行、参数卸载和推理优化接到现有PyTorch项目里。