Nemotron-CC - 英伟达推出的大型预训练数据集

Nemotron-CC是什么

Nemotron-CC是NVIDIA团队做的大型预训练数据集，干的事是把Common Crawl的原始数据转成能用于长序列预训练的高质量语料。做法上用了分类器集成、合成数据重述，并刻意少依赖启发式过滤器，数据量和质量之间的平衡就好一些。整个数据集6.3万亿个tokens，其中4.4万亿是全球去重的原始tokens，1.9万亿是合成生成的tokens。短期（1T tokens）和长期（15T tokens）训练都试过，效果都在；MMLU这类任务上，用它训出来的模型比用DCLM和Llama 3.1的准确性更高。说到底，它是给大模型训练多加了一批更丰富、更多样的数据。

Nemotron-CC的主要功能

• 提供高质量的预训练数据集：给大型语言模型（LLMs）准备的高质量、大规模预训练数据，长序列训练尤其对路，15T tokens这种量级也撑得住。
• 平衡数据量和质量：质量基本没让，规模上去了，独特的真实tokens更多，模型在长序列训练里的表现也跟着好。
• 支持模型性能提升：实验里，用它训的模型在多个基准上成绩都不错；MMLU这类任务上，跟现有其他数据集比，准确性有明显提升。

Nemotron-CC的技术原理

• 优化文本提取：HTML转文本用的是Justext，它提取出来的高质量tokens更多，数据集一开始的底子就好一些。
• 基于模型的质量标记：
  • 分类器集成：先训三个质量分类器，各自对高质量内容的偏好不一样。三个分类器集成起来给所有文档打分，再按分数把爬下来的语料分成不同质量档。
  • 质量标签分配：细粒度的分数再聚成5个下游任务质量类别，然后拿连续预训练和任务表现做评估，给每个类别贴上跟实际效果对得上的质量标签。
• 合成数据生成：
  • 低质量数据重述：低质量文档走重述这条路，噪声和错误压下去，有用的信息留着。提示（prompt）用的是Wikipedia风格，重述一遍之后错误和冗余少了不少，排版也齐整。
  • 高质量数据扩展：高质量文档则想办法多榨点东西出来：生成多样化的问答对、做提炼、抽知识、列知识清单，独特的tokens因此变多，内容也更杂一些。
• 数据集整合：
  • 大规模数据合成：合成这一步用Mistral NeMo 12B模型，生成超过1.8万亿个合成tokens，其中3363亿来自低质量文档，1.5万亿来自高质量文档。
  • 数据集构建：上面这些技术落到Common Crawl的99个快照上（CC-MAIN-2013-20至CC-MAIN-2024-30），最终凑成6.3万亿tokens的数据集：4.4万亿是全球去重的原始tokens，1.9万亿是合成生成的tokens。

Nemotron-CC的项目地址

• 项目官网：https://developer.nvidia.com/blog/announcing-nemotron-cc
• arXiv技术论文：https://arxiv.org/pdf/2412.02595

Nemotron-CC的应用场景

• 预训练大型语言模型：长序列训练能用，比如15T tokens那种规模，模型在复杂任务上的表现会好一些。
• 微调和特定任务适应：多任务学习、特定领域任务都能比较快地适配，表现也稳。
• 文本生成任务：拿来生成高质量文本，新闻、故事都行，对话系统也能因此说得自然些。
• 研究与开发：研究模型架构和训练方法时，它也能当基准测试的资源用。
• 教育与培训：可以生成教学素材，语言学习也能借力，课程内容能丰富一点。