← 返回AI工具

Llama Windows:把 llama.cpp 放进 Windows 系统托盘

Hugging Face 官方称这是 macOS 上 llama.app 的 Windows 对应版本:一个原生 WinUI3 托盘应用,从 Hugging Face Hub 一键下载模型、在本地运行,无需终端、编译步骤或管理员权限,并原生支持 Windows on Arm 与新的 NVIDIA RTX Spark

工具概览

工具定位、能力与使用指引

功能特点

  • ✓ 免费开源的托盘应用:Hugging Face 官方称,Llama Windows 是一个免费、开源的 Windows 11 应用,把 llama.cpp 放进系统托盘;从 Hugging Face Hub 挑一个模型、一键下载,然后直接从通知区域本地运行,不需要终端、不需要编译步骤、也不需要管理员权限
  • ✓ 原生 WinUI3 与 Fluent Design:Hugging Face 官方称这是一个原生 WinUI3 应用,采用 Microsoft Fluent Design 风格,常驻通知区域;点击 llama 图标会弹出紧凑的浮出面板,没有任务栏窗口、也没有别的东西需要管理,右键图标可以打开或退出应用
  • ✓ 一键从 Hub 下载模型:官方称你可以直接从 Hugging Face Hub 浏览推荐模型并一键下载,省去了过去自己找硬件对应的二进制、挑模型、在量化版本之间纠结、再用正确参数启动服务器的全过程
  • ✓ 原生支持 Windows on Arm 与 RTX Spark:Hugging Face 官方称该应用原生运行在 Windows on Arm 上,并与 NVIDIA 合作做到在 RTX Spark 上市首日就可用,llama.cpp 会在 RTX Spark 的 GPU 上运行模型;官方称因为 llama.cpp 是高度优化的运行时,可以完整利用 RTX Spark 的算力与内存而无需手工调参
  • ✓ 数据留在本机,并可作为本地服务:官方称一切都在设备上运行,你的提示与数据留在自己的 PC 上;另外第三方报道指出它会暴露一个本机 OpenAI 兼容接口,供你自己的脚本与智能体调用。代码在 ggml-org 组织下开源,可在 llama.app 下载

使用步骤

  1. 在任何 Windows 11 电脑上从 llama.app 下载 Llama Windows(代码可在 GitHub 的 ggml-org/Llama-Windows 查看)
  2. 安装后点击通知区域的 llama 图标,在浮出面板里从 Hugging Face Hub 浏览并一键下载一个模型
  3. 直接在本地运行并与模型对话;官方称不需要终端、编译步骤或管理员权限,数据留在你的 PC 上
  4. 如果你要用自己的脚本或智能体调用,可以参考社区说明使用它暴露的本机 OpenAI 兼容接口(请以官方仓库文档为准)

常见问题

Llama Windows 是什么?

Hugging Face 官方称,Llama Windows 是一个免费、开源的应用,把 llama.cpp 放进你的 Windows 11 系统托盘:从 Hugging Face Hub 挑一个模型、一键下载,然后从通知区域本地运行,不需要终端、不需要编译步骤、也不需要管理员权限。

它和 macOS 上的 llama.app 是什么关系?

Hugging Face 官方称,Llama Windows 是 macOS 上 llama.app 的 Windows 对应版本,并且发布时就原生支持 Windows on Arm 与新的 NVIDIA RTX Spark。

需要显卡或特定硬件吗?

官方称该应用原生运行在 Windows on Arm 上,并与 NVIDIA 合作做到 RTX Spark 上市首日即可使用,llama.cpp 会在 RTX Spark 的 GPU 上运行模型;第三方报道指出它同样可以在普通的 x64 Windows 11 电脑上运行,并不是必须拥有 RTX Spark。

在哪里下载、代码是否开源?

Hugging Face 官方称可以在任何 Windows 11 电脑上从 llama.app 下载,也可以在其 GitHub 仓库 ggml-org/Llama-Windows 浏览代码;官方称这是一个免费且开源的应用,仓库同时为 x64 与 ARM64 构建。

我的数据会被上传吗?

Hugging Face 官方称一切都在设备上运行,因此你的提示与数据都留在自己的 PC 上,这也是官方把它定位为兼顾本地性能与隐私的方式。

我可以用自己的程序调用它吗?

第三方报道称 Llama Windows 会暴露一个本机 OpenAI 兼容服务,供你自己的脚本与智能体使用。官方博客重点介绍的是托盘应用体验,具体接口细节请以官方仓库文档为准。

官方来源

https://huggingface.co/blog/huggingface/llama-windows