Colossal Clean Crawled Corpus
用于训练 T5 的经过大量过滤的 Common Crawl。
概览
C4 是单个 Common Crawl 快照经过清洗和过滤后的衍生数据集，为训练而构建，并随 T5 论文一同发布。它解决了原始爬取数据中充斥着大量模板化内容、导航文本和机器生成文本、其规模足以损害训练的问题。它作为这样一个语料库而存在：其过滤规则成为此后每个网络数据集所参照的基线。
技术图谱
Colossal Clean Crawled Corpus 如何与技术栈的其他部分相连。
使用与依赖
- Common Crawl dataset Datasets Colossal Clean Crawled Corpus based on Common Crawl High ✓ source
应用于
- Pretraining technique Techniques Colossal Clean Crawled Corpus used for Pretraining High ✓ source
替代方案
对比
与上述替代方案的逐项对比。