NVIDIA与AI4Bharat发布Indic预训练语料

NVIDIA联合IIT Madras的AI4Bharat发布Nemotron-pretraining-Indic-v1预训练语料，约2.8万亿token，覆盖22种印度语言，其中原生文字token 2,601.0亿、罗马化token 224.6亿。据NVIDIA介绍，该语料将很快发布，并同步开放用于生成它的GPU加速数据生成流水线。 配套开源工具为NeMo Data Designer的Nemotron Bharat翻译插件，提供翻译与评估提示、可选的基于反馈的重写、文档窗口化和文字系统重映射功能。Hugging Face Datasets支持流式读取，可在不下载整个语料的情况下查看记录；NVIDIA建议发布后固定数据集版本以保证实验可复现。

AI 根据报道生成 · 20 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。