Common Crawl
非营利性的公共网络爬取项目，也是大多数训练语料库的基础。
概览
Common Crawl 定期发布公共网页的抓取结果，以原始页面数据的形式提供，可免费下载，而几乎所有开放训练语料库都是它的过滤衍生品。它解决了这样一个问题：构建网络规模的语料库是一项抓取和托管操作，而非建模操作。它之所以存在，是因为同一份原始材料经过不同方式的过滤，才使得 C4、FineWeb 和 The Pile 具有可比性，而非彼此无关。
技术图谱
Common Crawl 如何与技术栈的其他部分相连。
使用与依赖
应用于
- Pretraining technique Techniques Common Crawl used for Pretraining High ✓ source