英伟达推出 NIM 以简化 AI 模型部署

英伟达推出 NIM 以简化 AI 模型部署 tomato 2024-03-19 14:33:55 280

易百纳社区

在今天的 GTC 大会上,Nvidia 推出了 NIM,这是一个革命性的软件平台,旨在将自定义和预训练的 AI 模型无缝集成到生产环境中。

除了今天在 Nvidia 的 GTC 大会上发布的一系列公告外,NIM 还利用了 Nvidia 在 AI 模型推理和优化方面的专业知识,为开发人员提供了一种简化的方法。通过将 AI 模型与优化的推理引擎合并,并将其封装到可作为微服务访问的容器中,NIM 大大缩短了部署时间。据报道,传统上需要几个月才能完成的工作现在可以快速完成,无需广泛的内部 AI 专业知识。

这个创新平台支持来自 NVIDIA、A121 和 Getty Images 等著名实体的模型,以及来自谷歌和 Meta 等科技巨头的开放模型。Nvidia 与 Amazon、Google 和 Microsoft 的合作旨在将 NIM 微服务集成到主要的云服务中,从而全面提高开发人员的可访问性。

NIM 的核心是 Triton 推理服务器,以及 TensorRT 和 TensorRT-LLM,这突显了 Nvidia 致力于为 AI 应用程序提供强大基础的承诺。该平台还具有专门的微服务,例如用于语音和翻译调整的 Riva、用于路由优化的 cuOpt 以及用于天气和气候模拟的 Earth-2 模型。

英伟达(Nvidia)企业计算主管Manuvir Das强调了NIM带来的效率和企业级质量,使开发人员能够专注于构建企业应用程序,而无需模型管理的开销。

NIM 证明了 Nvidia 的愿景,即将企业转变为 AI 驱动的实体,并配备一套容器化 AI 微服务。在行业巨头和合作伙伴生态系统的支持下,英伟达的 NIM 有望彻底改变 AI 模型在各个领域的部署和利用方式。

英伟达首席执行官黄仁勋强调了NIM的变革潜力,并展望了未来,每个企业都利用人工智能来增强其运营和创新能力。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
tomato
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
tomato
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区