一、大语言模型通常计算量和模型数量同步增长,大幅提升全球算力需求 1、AI 模型分为训练和推理两个过程,GPT 模型进步的一个显著特征是参数量大幅提升AI 模型主要分为训练和推理过程,训练奠定模型的性能根基,推理是将已有模型应用到具体场景对相应需求做出反馈的过程。根据英伟达官网给出的示意图,AI 大模型需要利用构建好的算法,在大量的数据库上进行训练,借助大量的算力生成一个对于特定性能指标具有优异表现的模型结果。模型训练好之后在应用端通常称为推理过程,终端用户通过多种方式(包括文字、语音、图片、视频等多模态形式)针对模型提出需求,模型根据自己的理解给出反馈,在推理过程中实现的结果,还可以反过来针对模型进行进一步辅助训练。图 1:AI 模型训练和推理应用原理资料来源:英伟达官网, AI 大模型发展过程中,通常伴随着模型参数量增大、训练数据增多的趋势,对于芯片的算力需求持续增长。根据AI算力集群方案设计与优化总结的过去 4 年全球主要 NLP(自然语言处理)模型,模型的参数量从 ELMo 的 9400 万增长至 Megatron-Turing