← 返回AI工具

NVIDIA Run:ai 全面开源(DSX AI Factory 平台)

官方称目标是让整个生态跑得更快:把生产级的 AI 工作负载与 GPU 编排能力交给客户、开发者与生态伙伴,用于构建各自的 DSX AI 工厂方案

工具概览

工具定位、能力与使用指引

功能特点

  • ✓ 完整平台开源:官方称把完整的 NVIDIA Run:ai 平台作为开源软件发布,使客户、开发者与生态伙伴获得生产级的 AI 工作负载与 GPU 编排能力
  • ✓ 四个可独立采用的模块:官方列出 KAI Scheduler(GPU 感知的 Kubernetes 调度)、GPU Fractioning Operator(CUDA 原生 GPU 共享)、KAI Resource Management(组织配额与层级)以及 Workload Map(一致的工作负载管理契约)
  • ✓ 生态伙伴正在集成:官方称包括 Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 与 vCluster 在内的八家 NVIDIA DSX 生态伙伴正在把该开源平台集成进各自的产品
  • ✓ 整体采用或按需取用:官方称平台团队与生态伙伴可以把 Run:ai 作为整体采用、在其之上构建自己的产品与服务,也可以按需集成单个组件
  • ✓ 配套开源项目:官方称 Model Streamer 与 Grove 两个相关开源项目分别用于加速模型加载与编排多组件推理工作负载

使用步骤

  1. 查看 NVIDIA 官方技术博客,确认 Run:ai 开源的范围与四个可独立采用的组件
  2. 按官方指引前往 GitHub 上 NVIDIA DSX AI Factory 组织查看完整源码,以及 KAI Scheduler 与 GPU Fractioning Operator 等组件仓库
  3. 如需自托管整套栈,官方称完整开源平台也以 Community Product 形式发布在 NVIDIA NGC 上,并提供用于安装集成栈的 Helm chart
  4. 留意官方的授权与支持说明:Community Product 不需要付费的 Run:ai 订阅或支持权益,也不包含 NVIDIA 企业级支持,源码受适用的开源许可约束

常见问题

这次开源包含了什么?

NVIDIA 官方技术博客称,NVIDIA 把完整的 NVIDIA Run:ai 平台作为开源软件发布,并给出四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 与 Workload Map;这些组件与其余平台代码一起构成完整的 Run:ai 平台。

为什么 NVIDIA 要开源 Run:ai?

官方称这一发布扩展了 NVIDIA DSX AI Factory 平台,把 Run:ai 确立为开放基础,让更广泛的生态能更快把差异化方案推向市场,以回应不断变化的客户需求;官方还称开源后,任何 DSX 生态伙伴与 AI 云都能提升工作负载吞吐、改善 GPU 利用率,并更高效地运营共享 AI 基础设施。

有哪些生态伙伴参与?

官方列出八家正在把该开源平台集成进自身产品的 NVIDIA DSX 生态伙伴:Crusoe、Mirantis、Nebius、OpenNebula Systems、Rafay、Saturn Cloud、Spectro Cloud 与 vCluster。

可以只用一个组件吗?

官方称可以。KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 与 Workload Map 都能独立采用;平台团队与生态伙伴既可以把 Run:ai 作为整体采用,也可以按自身需求只集成其中某个组件。

自托管要怎么安装?

官方称完整开源平台已作为 Community Product 发布在 NVIDIA NGC 上,并提供用于安装集成栈的 Helm chart。

开源版包含企业支持吗?

官方明确说明:从 NGC 下载 Community Product 需要接受适用的 NVIDIA 软件许可协议与 NVIDIA AI 产品特定条款;Community Product 不需要付费的 NVIDIA Run:ai 订阅或 NVIDIA 支持权益,并且不包含 NVIDIA 企业级支持。源码受适用的开源许可约束。

官方来源

https://developer.nvidia.com/blog/nvidia-runai-is-now-open-source-as-part-of-nvidia-dsx-ai-factory-platform