AI长上下文训练工具把模型上下文拉长到百万级,长文档和代码库吃得下。它做分块、缓存和检索,算法团队常用它训长文模型,也做KV优化,挑的时候看显存占不占、长程忘不忘,以及训练稳不稳。
面向大模型训练与推理的开源AI加速库,把显存切分、分布式并行、参数卸载和推理优化接到现有PyTorch项目里。