天天快资讯丨国产中文大模型天河天元发布

(资料图片仅供参考)

本报讯（中青报·中青网记者胡春艳）在近日举行的世界智能科技创新合作峰会上，国家超算天津中心发布了天河百亿亿级智能计算开放创新平台和国产中文大模型——天河天元。国家超级计算天津中心党组书记、应用研发首席科学家孟祥飞说，国家超算天河团队与信创海河实验室、天津大学、国防科大团队，共同致力于打造国产超级算力和智能算力底座，构建高标准大规模的中文数据集，通过国产中文大模型的研发和设计来支撑智能科技的创新。

众所周知，中文大语言模型的数据集非常稀缺。国家超算天津中心搜集整理了网页数据、各种开源训练数据、中文小说数据、古文数据、百科数据、新闻数据，以及专业领域的中医、医药、问诊、法律等多种数据集，训练数据集总token数达到350B，训练打造了自己的中文语言大模型——天河天元大模型。

在算力中，超级算力应该是算力当中的“战斗机”，是最强大的算力存在。事实上，每一次超级计算机的升级换代，都经历了从底层的高性能计算芯片升级、高速互联网络升级，再到基础操作软件的整体性升级换代，才能带来一代新的超级计算机，而这也代表着在信息技术的创新能力和创新水平的新革命。

超级计算也被誉为大国重器，在这个体系当中天河应该成为中国超级计算发展的一个代表。孟祥飞说，过去10年中，团队不断挑战着世界算力速度的极限，从千万亿次到亿亿次，再到今天的百亿亿次的突破，正是这样一个强大的算力，也使得天津成为全国乃至世界超级算力的重镇，天津为全国贡献了超过20%以上的超级算力。来自全国8000多个科研机构、企业、政府部门的研发、设计依托天河超算进行技术创新和产业发展。

“天河百亿亿级的智能计算开放创新平台”正是依托了天河超级计算系统。超级计算的传统强项是高精度的科学工程计算，比如预报天气，需经过成千上万次的精确迭代计算以后，得出一个正确的结果，“预报的结果要可信，要有严格的误差控制，因此必须保持高精度计算”。

而眼下正在快速兴起的智能计算，特别是大模型带来的智能计算需求，对高精度计算的要求并不强烈。比如文本生成等，主要做的是特征提取、逻辑判断，就带来了一个新的计算范式的需求，即“低精度智能计算”。

于是在新一代超级计算机中，天河团队首次提出了柔性体系结构，就是在支持高性能计算、超级计算、科学工程计算的同时，也适配智能计算，支持世界领先的双精度、单精度、半精度融合计算输出能力。天河E级智能计算开放创新平台将带来突破百亿亿次的跨模态的超级计算算力，支撑传统的科学工程计算，并服务智能混合计算，打造全方位的算力赋能创新和数字经济高质量发展载体。

行业大模型就是在基础大模型上，进一步融合行业数据、知识以及专家经验，提升大模型对行业应用的适配性。大模型“预训练+精调”等模式带来了新的标准化AI研发范式，实现AI模型在更统一、简单的方式下规模化生产。这将会带来一场通用人工智能为驱动力的“AI革命”。

用大模型作为产业智能化升级基座，加之专业数据集，将打造出更贴合行业领域的智能化高水平“专家”，为行业赋能，推动行业升级，提升领域创新效率、行业生产效率，成为人工智能驱动新一轮科技革命和产业变革的巨大力量。孟祥飞期待，让国产创新基础上的“天河E级超智算力开放平台”“天河天元大模型”赋能百业、赋能天津、赋能中国高质量发展。

来源：中国青年报

关键词：

天天快资讯丨国产中文大模型天河天元发布

时间：2023-05-29 07:03:16来源 : 中国青年报

推荐内容