英伟达发布Nemotron-4：150亿参数通用大模型目标单张A100H100可

　　英伟达最新推出的Nemotron-4语言模型引起广泛关注。这一通用大模型拥有150亿参数，经过在8T token上的训练，在英语、多语言和编码任务中表现出色。具体而言，Nemotron-4在7个评估基准上的15B模型表现优异，超越同等参数规模的模型，甚至击败了4倍大的模型。

　　该模型的设计灵感来自Chinchilla模型的「缩放定律」，该定律强调在给定固定计算预算的情况下，同时优化数据和模型大小。与过去主要关注模型大小不同，这一研究强调将计算分配给更多数据的训练，以降低延迟和服务模型所需的计算量。因此，Nemotron-4的主要目标是打造一个能在单个英伟达A100或H100GPU上运行的最佳「通用大模型」。

　　在架构方面，Nemotron-4采用了标准的纯解码器Transformer架构，并带有因果注意掩码。核心超参数包括32亿个嵌入参数和125亿个非嵌入参数。在数据方面，研究人员使用了包含8万亿个token的预训练数据集，分为英语自然语言数据(70%)、多语言自然语言数据(15%)和源代码数据(15%)。

　　为了实现这一庞大模型的训练，Nemotron-4使用了384个DGX H100节点，每个节点包含8个英伟达H10080GB SXM5GPU。在16位浮点(bfloat16)算术下，每个GPU的峰值吞吐量为989teraFLOP/s。研究人员通过张量并行和数据并行的组合进行训练，并使用了分布式优化器。

　　在下游评估中，Nemotron-4在各领域均表现强劲，特别是在常识推理、热门综合基准和数学、代码任务上。该模型在多语言分类和生成任务中也实现了最佳性能，展现了其在不同语言的卓越理解能力。值得注意的是，Nemotron-4在机器翻译任务中取得了显著的进展，不仅在中文翻译成英文方面表现出色，而且在中文直接翻译成其他语言方面也取得了印象深刻的效果。

　　Nemotron-4的推出标志着英伟达在通用大模型领域的一次重要突破，为单个A100或H100GPU上运行的最佳通用大模型设定了新标准。

　　文章内容仅供阅读，不构成投资建议，请谨慎对待。投资者据此操作，风险自担。

　　2 月 28 日消息，Guardio Labs 近日发布报告，曝光了名为 SubdoMailing 的网络攻击活动，通过劫持 8000 多个可信域名，每日发送了数百万封恶意电子邮件。

　　上海车展正在火热进行中，一汽大众在2023上海车展中带来了ID家族的旗舰轿车产品，ID.7 VIZZION，新车基于MEB平台打造而来，预计将于今年下半年正式上市。

　　5月18日，为了帮助中小企业解决定为难、运营难、资金难、人才难、资源难等问题，杭州市市场营销协会组织多家专业机构联合举办“名企游学，走进上市公司”活动，通过学习交流赋能中小企业更好地完成转型升级。此次活动走进“A股互联网第一股”浙江网盛生意宝股份有限公司。

　　5月18日，由京东携手爱空间整装举办的京东装修自营业务新品发布会暨京东联合爱空间整装新品媒体见面会正式召开。