The Pile
由22个不同来源汇编而成的800GB文本。
概览
The Pile 将二十二个来源——代码、学术论文、书籍、法律文本、论坛帖子、网页——整合为一个带有声明权重的语料库。它解决了这样一个问题：仅从网络抓取的语料库会被网络本身所主导的内容所支配，而这并非每项任务所需。它的存在是为了论证：组成结构是一项设计决策，会对下游产生可衡量的影响。
技术图谱
The Pile 如何与技术栈的其他部分相连。
应用于
- LLM concept Models The Pile used for LLM High ✓ source
- Pretraining technique Techniques The Pile used for Pretraining High ✓ source