以“云启智跃 · 产业蝶变”为主题的 2024 云栖大会于 9 月 21 日圆满落幕。作为全世界加速计算的领导者，NVIDIA 全面参与大会，展示了针对大语言模型（LLM）和生成式 AI 落地的数据中心级端到端技术栈和云上解决方案及用例，生态加速项目，以及生态企业解决方案；NVIDIA 也分享和深入探讨了全栈视角下的加速计算技术和实践，包括系统架构设计、训练与推理工程的加速和成本降低、应用开发范式的创新、云和ECO的合作等。本文将带您回顾 NVIDIA 在本届云栖大会上的高光时刻。

　　LLM 互动技术演示区成为了体验生成式 AI 魅力的热门打卡点。大会观众在此体验了由 LLM 驱动的逼真 NPC 交互，能够最终靠键盘打字、话筒语音输入的方式，用中英文和 NPC 对话，并能够正常的看到其对话时栩栩如生的面部表情；另一个 Stable Diffusion ComfyUI 应用的图像生成技术演示，可以让观众在现场输入照后，仅用数秒，就可以获得基于其照的超级英雄图片。

　　紧邻技术演示区，NVIDIA 企业开发者社区与NVIDIA 深度学习培训中心（DLI）也吸引了众多观众的目光。此外，一如往年，“NVIDIA AI 小课堂”如期举行，三位 NVIDIA 讲师分别带来“基于 NIM 构建 LLM-RAG 智能检索应用”、“NVIDIA AI 推理加速解决方案”以及“NVIDIA Spectrum-X – 适用于 AI 的下一代以太网”话题，诠释 AI 技术带来的魅力与变革。

　　：Motiff 妙多 AI 时代设计工具，基于 NVIDIA 加速计算，驱动 AI 直接生成产品界面。

　　：极氪浩瀚智驾 2.0 启动端到端大模型，基于 NVIDIA 芯片，打造智驾新体验，自研域控，行车，泊车与主动安全全场景覆盖，城市领航功能全国都能用。

　　：在阿里云容器服务 ACK 集群上部署 NIM 预构建容器工具，使用其云原生 AI 套件，开源的 KServe 等组件和 Prometheus 监控服务，以及 NIM 提供的丰富监控指标，快速拉起高性能、可实时观测、极致弹性的模型推理服务。

　　：魔搭社区上线 TensorRT-LLM，支持主流 LLM 推理优化和常用量化方法，并适配不同环境，其中使用 FP8 量化，可获得相比 HuggingFace 基准，最高 8.6 倍的整体推理性能提升。

　　：图谱自动构建和可信问答，基于 LLM 的私域知识库自动图谱构建和可信问答。

　　：阿里云与 NVIDIA 共同打造更高效的推理平台，推理速度提升 30%。

　　：Kimi 底层推理平台 Mooncake——基于 KVCache 的分离式推理架构。

　　：NVIDIA AI Enterprise 结合计算巢实现 LLM 快速 SaaS 化和软件一站式上云。

　　：按“虚”而动，大势所趋，NVIDIA vGPU 解决方案助力阿里云弹性计算。

　　在本次云栖大会上，多位 NVIDIA 专家发表了精彩演讲，分享洞见，深入解读了 NVIDIA 如何推动行业的进步与创新。

　　在 9 月 19 日《云与 AI 的创见》 主论坛的圆桌对话环节，NVIDIA 全球副总裁、汽车事业部负责人吴新宙与小鹏汽车董事长、CEO 何小鹏围绕“生成式 AI 重塑无人驾驶”主题展开了精彩的圆桌对话。

　　NVIDIA 全球副总裁刘念宁在“智汇”她力量论坛演讲中，与大家伙儿一起来分享了几个世纪以来女性的收入和劳动力市场参与情况，并对比在全球化和数字化的新时代背景下，现代女性正以前所未有的姿态参与到社会的各个层面之中，展现出了非凡的能力和贡献，并表示 AI 新工业革命将激励更多女性的参与。精彩演讲成功收获了现场观众的热烈反响。

　　在 9 月 20 日的“面向 Al 的可预期智算网络”论坛中，NVIDIA 网络高级副总裁 Gilad Shainer为参会观众带来了“迈向 AI 网络创新的新领域”的主题演讲，深入探讨了 NVIDIA AI 计算和网络架构的细节及其在下一代 AI 数据中心设计中的重要作用。

　　此外，在 9 月 19 日的“聚力 · 链接 · 创见：开放生态中的 MaaS 版图”论坛中，NVIDIA 开发与技术部门亚太区资深总监李曦鹏发表了“加速大语言模型推理”主题演讲，围绕最新开源模型、工具、模型应用现状等展开分享。在同日的两场并行话题中，NVIDIA 解决方案架构师金国强及阿里云智能集团高级技术专家聂大鹏带来了题为“Serverless GPU 助力 AI 推理加速”的演讲内容；阿里云智能集团数据库产品事业部高级技术专家王正恒及NVIDIA GPU 计算专家团队高级经理季光带来了“Tair：基于 KV 缓存的推理加速服务”主题演讲。大会后两日，NVIDIA 软件高级总监卓睿，以及NVIDIA 解决方案架构师毛亦姝分别出席了“AI 时代通义智能端侧”、“计算巢，软件上云一站式解决方案”两大分论坛，带来了关于“大语言模型在 NVIDIA DRIVE 平台的应用”以及“NVIDIA NIM 联合阿里云计算巢助力 LLM 快速 SaaS 化”的探讨。

　　在本次云栖大会上，NVIDIA 举办了以“大语言模型时代的加速计算”为主题的专场论坛，成为了大会的一个亮点，吸引了众多行业专业技术人员的关注。通过这一些精彩纷呈的分享和讨论，与会者对 NVIDIA 在大语言模型时代如何引领技术创新和行业发展有了更全面的理解。

　　在本次专场中，NVIDIA 全球副总裁何涛为专场观众致欢迎词，此后，NVIDIA 开发与技术部门亚太区资深总监李曦鹏带来了开场演讲 “大语言模型时代的加速计算”，分享加速计算在大语言模型时代的变革与传承，深入探讨 NVIDIA 怎么样应对大语言模型带来的新技术挑战以及解决方案。

　　此外，NVIDIA 解决方案架构师金国强与阿里云智能集团弹性计算高级开发工程师刘霖分享“让生成式 AI 触手可及：NVIDIA NIM 助力企业级大模型推理优化部署”。NVIDIA 资深解决方案架构师刘功元在“NVIDIA 加速计算助力生成式 AI”的演讲中，重点介绍 GPU 架构，GPU 集群 Scale-up 和 Scale-out 的演进，以及助力生成式 AI 的落地的最佳实践。NVIDIA GPU 计算专家张顺康和王猛分别分享了“NVIDIA Megatron-Core MoE：架构、特性与性能优化”，以及“NVIDIA TensorRT-LLM：大模型推理优化最佳实践”。阿里云智能集团算法专家分享了“PAI-Megatron-Patch：围绕 Megatron-Core 打造大语言模型训练加速生态”，接着阿里云智能集团高级技术专家张杰（王林）则以及“PAI-ChatLearn：借助 Megatron-LM 实现高效 Alignment 训练”为题进行了分享。最后，NVIDIA 亚太区企业级软件负责人张旭、埃森哲大中华区技术服务事业部资深解决方案架构师杨阳和阿里云智能集团弹性计算开发工程师高涵，共同讨论了“NVIDIA AI Enterprise 助力传统企业 LLM 上云”，分享如何基于定制企业专有数据和微调模型，助力打造定制化的企业级解决方案。

　　在今年新增的 NVIDIA Inception Pavilion 展区，共有 10 家 NVIDIA 初创加速计划会员企业参展，包括 6Estates、FathomX Pte. Ltd.、MetaLearner、8glabs Inc.、WeShop、深圳幻影未来信息科技有限公司、万生华态科技有限公司、北京睿甄创新科技有限公司、酷牛创新技术（深圳）有限公司和埃罗科技（上海）有限公司。每家初创企业都展示了令人耳目一新的创新成果，吸引了众多关注。

　　最后，衷心感谢所有线上线下观众的热烈关注与热情参加本次 2024 云栖大会。NVIDIA 期待与大家再次相聚，共同见证 AI 新时代的发展！

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　重大突破！美国西北大学利用现有互联网光缆实现量子隐形态传输：量子通信要变天

　　保留激光雷达是为了安全！理想汽车李想：如果马斯克在中国高速深夜开过车，特斯拉也会保留激光雷达【附激光雷达行业现状分析】

　　野村日本首席经济学家森田京平博士：日本有望在2025年成为一个“正常”经济体

　　足坛悲喜1夜：利物浦5-0屠杀 曼城6场首胜 米兰4轮1胜 尤文叕平局

　　《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律