英伟达推出 NIM 以简化 AI 模型部署
在今天的 GTC 大会上,Nvidia 推出了 NIM,这是一个革命性的软件平台,旨在将自定义和预训练的 AI 模型无缝集成到生产环境中。
除了今天在 Nvidia 的 GTC 大会上发布的一系列公告外,NIM 还利用了 Nvidia 在 AI 模型推理和优化方面的专业知识,为开发人员提供了一种简化的方法。通过将 AI 模型与优化的推理引擎合并,并将其封装到可作为微服务访问的容器中,NIM 大大缩短了部署时间。据报道,传统上需要几个月才能完成的工作现在可以快速完成,无需广泛的内部 AI 专业知识。
这个创新平台支持来自 NVIDIA、A121 和 Getty Images 等著名实体的模型,以及来自谷歌和 Meta 等科技巨头的开放模型。Nvidia 与 Amazon、Google 和 Microsoft 的合作旨在将 NIM 微服务集成到主要的云服务中,从而全面提高开发人员的可访问性。
NIM 的核心是 Triton 推理服务器,以及 TensorRT 和 TensorRT-LLM,这突显了 Nvidia 致力于为 AI 应用程序提供强大基础的承诺。该平台还具有专门的微服务,例如用于语音和翻译调整的 Riva、用于路由优化的 cuOpt 以及用于天气和气候模拟的 Earth-2 模型。
英伟达(Nvidia)企业计算主管Manuvir Das强调了NIM带来的效率和企业级质量,使开发人员能够专注于构建企业应用程序,而无需模型管理的开销。
NIM 证明了 Nvidia 的愿景,即将企业转变为 AI 驱动的实体,并配备一套容器化 AI 微服务。在行业巨头和合作伙伴生态系统的支持下,英伟达的 NIM 有望彻底改变 AI 模型在各个领域的部署和利用方式。
英伟达首席执行官黄仁勋强调了NIM的变革潜力,并展望了未来,每个企业都利用人工智能来增强其运营和创新能力。
- 分享
- 举报
-
2023-03-06 11:11:30
-
2023-08-10 09:40:45
-
浏览量:1770次2018-04-01 21:55:54
-
浏览量:2201次2018-03-29 16:57:07
-
浏览量:2630次2020-02-05 13:43:12
-
浏览量:2384次2018-02-28 22:15:06
-
浏览量:3797次2020-10-13 09:13:25
-
浏览量:1084次2023-07-04 14:25:00
-
浏览量:1781次2018-06-07 13:01:57
-
浏览量:2069次2019-01-20 16:51:20
-
浏览量:1971次2019-01-10 17:30:47
-
浏览量:1928次2020-07-02 16:19:22
-
浏览量:2013次2018-11-24 22:37:24
-
浏览量:2049次2018-11-21 22:16:29
-
浏览量:2003次2018-01-16 12:22:50
-
浏览量:2212次2023-01-06 16:30:59
-
浏览量:2318次2018-12-06 16:47:14
-
浏览量:792次2023-08-18 09:28:18
-
浏览量:2798次2020-12-10 10:53:29
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
tomato
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明