AG真人国际Foundry在芯片行业指“铸造厂”，比如台积电制造其他公司设计的芯片。

　　NVIDIA AI Foundry 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成式AI模型服务。

　　NVIDIA NIM在年初的GTC大会上首次亮相，使用几行代码就可以在云、数据中心、工作站和PC上部署AI模型。

　　现在则又新加一个标签：将Llama 3.1模型部署到生产中的最快途径，吞吐量最多可比不使用NIM运行推理时高出2.5倍。

　　黄仁勋表示：“Meta的Llama 3.1开源模型标志着全球企业采用生成式 AI 的关键时刻已经到来”。

　　NVIDIA和Meta还一起为Llama 3.1提供了一种提炼方法，供开发者为生成式AI应用创建更小的自定义Llama 3.1模型。这使企业能够在更多加速基础设施（如 AI 工作站和笔记本电脑）上运行由Llama驱动的AI应用。

　　咨询巨头埃森哲更进一步，借助NVIDIA AI Foundry为自己以及咨询客户创建自定义Llama 3.1 模型，

　　企业自有数据，可使用NeMo Curator开源Python库完成快速且可扩展的数据集准备和大模型用例的管理，包括基础模型预训练、领域自适应预训练 （DAPT）、监督微调 （SFT） 和参数高效微调 （PEFT）。

　　接下来使用NeMo Customizer简化大模型的微调和对齐。最初支持两种流行的参数高效微调技术：LoRA和P-Tuning。未来还将添加对完全对齐技术的支持，包括监督式微调（SFT）、从人类反馈中进行强化学习（RLHF）、直接偏好优化（DPO）以及NVIDIA SteerLM等。

　　Nemo Evaluator支持多种学术基准的自动评估，能够对自定义数据集进行评估，同时也支持支持使用大模型作为评委（LLM-as-a-Judge）对模型响应进行自动评估。

　　功能安全护栏确保应用能够以准确、恰当的信息作出回复。它们能过滤掉不希望使用的语言，并强制要求模型只引用可靠的来源。

　　在创建了自定义模型后，企业就可以构建NVIDIA NIM推理微服务，在其首选的云平台，使用自己选择的最佳机器学习运维（MLOps）和人工智能运维（AIOps）平台在生产中运行这些模型。

　　像Llama 3.1 405B和和英伟达Nemotron-4 340B这样超过千亿参数的大模型，用在绝大多数场景在成本和速度上都不会令人满意。

　　英伟达和Meta都意识到，用于生产合成数据，将是他们发挥作用的最大场景。

　　英伟达Nemotron-4 340B系列包括基础、指导和奖励模型，这些模型形成一个管道，用于生成用于训练和优化LLMs的合成数据，并且使用了独特宽松的开放模型许可证，为开发人员提供了一种免费、可扩展的方式来生成合成数据

　　Llama 3.1更新的开源协议这次也特别声明：允许使用Llama生产的数据去改进其他模型，只不过用了之后模型名称开头必须加上Llama字样。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。