FineWeb
经过过滤和去重的网络语料库，附带已公开的处理流程。
概览
FineWeb 是一个从 Common Crawl 中提取的 15 万亿 token 网络语料库，发布时一并提供了用于生成它的确切过滤和去重步骤。它解决了这样一个问题：大多数已发布的语料库只记录其内容，而不记录其构建过程，导致结果中的任何差异都无法归因。它作为一个为可复现性而构建的语料库存在，这使其不仅可作为数据使用，还可作为基线使用。
技术图谱
FineWeb 如何与技术栈的其他部分相连。
使用与依赖
- Common Crawl dataset Datasets FineWeb based on Common Crawl High ✓ source
应用于
- Pretraining technique Techniques FineWeb used for Pretraining High ✓ source
替代方案
-
Colossal Clean Crawled Corpus
dataset
FineWeb 的替代方案 · source
对比
与上述替代方案的逐项对比。