DeepSpeed
用于跨多块GPU训练大模型的优化库。
概览
DeepSpeed 实现了让大型模型训练能够适配多块 GPU 的内存与并行技术：分片优化器状态、卸载到 CPU 内存，以及对模型本身进行划分。它解决了这样一个问题：单个设备容纳不下的模型必须被拆分，而朴素地拆分既慢又容易出错。它之所以存在，是因为这些技术足够精妙，大多数团队需要将其作为库来使用，而不是当作一项练习。
技术图谱
DeepSpeed 如何与技术栈的其他部分相连。
使用与依赖
应用于
- Fine-tuning technique Techniques DeepSpeed used for Fine-tuning High ✓ source
- Pretraining technique Techniques DeepSpeed used for Pretraining High ✓ source