Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
核心要点速览
印度AI初创公司推出开源数据生成管道，构建了2.8万亿token的Indic语言预训练数据集，以推动印度语言大模型预训练规模化。
查看完整报道与分享
完整图文、背景资料与讨论归原始发布平台 Hugging Face 所有。
印度AI初创公司推出开源数据生成管道，构建了2.8万亿token的Indic语言预训练数据集，以推动印度语言大模型预训练规模化。
完整图文、背景资料与讨论归原始发布平台 Hugging Face 所有。