Benchmarking LLM Inference at Scale with AIPerf
NVIDIA推出了AIPerf基准测试工具,用于测量和评估大型语言模型的推理性能。
来源: NVIDIA Developer BlogNVIDIA 的 AI 新闻汇总:产品发布、模型更新与行业动态。最新:Benchmarking LLM Inference at Scale with AIPerf
NVIDIA推出了AIPerf基准测试工具,用于测量和评估大型语言模型的推理性能。
来源: NVIDIA Developer BlogPawprint Studio的生物收集游戏Aniimo现已在NVIDIA的GeForce NOW云游戏服务上推出,同时007 First Light获得路径追踪更新。
来源: NVIDIA BlogAI智能体可用于为物理AI系统和模拟应用准备和验证3D场景及数字孪生。
来源: NVIDIA Developer BlogTensorRT Edge-LLM在Jetson AGX Thor硬件上以6.4倍的速度完成了MLPerf Edge智能体基准测试,标志着边缘AI智能体部署的进步。
来源: NVIDIA Developer Blog研究人员使用智能体AI将CUDA瓦片操作从Python翻译为Rust,利用AI改进基于Rust的GPU内核开发。
来源: NVIDIA Developer Blog英伟达Vera Rubin NVL72系统在MLPerf推理v6.1基准测试中实现了领先性能,展示了AI推理效率的进步。
来源: NVIDIA BlogEmerald AI、谷歌和英伟达宣布成立AI能源管理联盟,推进具有动态电力管理能力的数据中心发展。
来源: NVIDIA Blog曼彻斯特大学使用 NVIDIA Earth-2 技术在英国范围内预测空气污染。
来源: NVIDIA BlogNVIDIA 首席执行官黄仁勋在 Salesforce Dreamforce 大会上介绍了基于 NVIDIA Nemotron 3 Super 的 Salesforce 首款 CRM 推理模型 Koa。
来源: NVIDIA BlogNVIDIA 解释了 Nemotron 3.5 Lightning 等混合专家模型如何在拥有 30B 参数的情况下仅激活 3B 参数。
来源: NVIDIA Developer BlogNVIDIA 讨论了 AI 工厂的功率管理和效率优化策略。
来源: NVIDIA BlogNVIDIA AI 基础设施峰会展示了 AI 工厂效率进展和每瓦特令牌数的优化。
来源: NVIDIA BlogNVIDIA 介绍了 Groq 3 LPX 确定性执行如何在 Vera Rubin 上实现功率高效推理。
来源: NVIDIA Developer BlogNVIDIA NVLink 6 为大规模 AI 工厂操作提供多层恢复能力。
来源: NVIDIA Developer BlogNVIDIA FLARE 支持联邦学习在 Docker、Kubernetes 和 Slurm 环境中的扩展。
来源: NVIDIA Developer Blog一所大型儿童医院正在使用开源NVIDIA AI技术来增强心脏护理能力。
来源: NVIDIA BlogNVIDIA宣布推出NVLink Fusion技术和NVHBM,以满足大型AI模型和复杂推理任务对计算能力的日益增长的需求。
来源: NVIDIA Developer BlogNVIDIA探索使用跨具身AI代理训练机器人导航策略,使机器人能够将感知转化为自主导航能力。
来源: NVIDIA Developer Blog阿里巴巴发布了Qwen3.8-Flash-Next 176B模型的预览版权重,供开发者在Qwen4正式推出前测试和评估。
来源: NVIDIA Developer Blog英伟达在Dynamo中引入了影子引擎恢复技术,能在数秒内恢复大语言模型推理能力,避免冗长的冷启动过程(包括加载权重和重新编译内核)。
来源: NVIDIA Developer BlogNVIDIA在Gamescom大会展示RTX游戏支持,包括美国艺电、Embark和育碧等发行商的新游戏,并提供改进的反作弊技术和视觉效果。
来源: NVIDIA BlogNVIDIA发布CUDA Python 1.0稳定版,通过稳定的API接口让Python开发者能够访问GPU计算能力,无需精通C++或复杂的构建工具链配置。
来源: NVIDIA Developer BlogNVIDIA Spectrum-X 以太网基础设施应对大规模分布式 AI 模型训练的数据中心设计挑战。
来源: NVIDIA Developer BlogNVIDIA 讨论了用于 AI 基础设施的 XPU 设计,强调 AI 工厂应作为集成系统构建,优化每秒令牌数、能源效率和每令牌成本,而非单个加速器的组合。
来源: NVIDIA BlogNVIDIA 正在扩展其 Vera Rubin NVL72 推理系统,增加更快的令牌生成能力以支持生产环境中的智能体 AI 系统。
来源: NVIDIA BlogNVIDIA 的 Vera Rubin NVL72 在 AI 智能体应用中实现了高达 30 倍的单位功率工作量提升。该系统应对了智能体工作负载消耗令牌量是简单聊天请求 15 倍的挑战,这是由于数据库查询和子智能体调用等活动所导致的。
来源: NVIDIA BlogNVIDIA Vera Rubin 和 Blackwell 平台为执行多步工作流、推理、工具调用和子代理协调的智能体 AI 系统优化能效表现。
来源: NVIDIA Developer BlogNVIDIA BlueField-4 网络加速器为连接多样化用户和工作负载的智能体 AI 工厂实现新的基础设施架构。
来源: NVIDIA Developer BlogNVIDIA Vera CPU 通过提高将功率和资本投入转换为完成代理任务的效率来优化 AI 工厂的机队经济效益。
来源: NVIDIA Developer BlogNVIDIA Groq 3 LPX 是 NVIDIA Vera Rubin 平台的交互式推理加速器,为长上下文 AI 推理提供超快速性能。
来源: NVIDIA Developer Blog暂无内容