POCKET-Darwin-180B 笔记本可跑的 180B GGUF 模型

VIDRAFT 于 2026 年 10 月 2 日发布 POCKET-Darwin-180B：这是其 180B 级 Darwin-180B-RSI 模型的 4-bit GGUF 量化版，发布方称其把约 360GB 的 BF16 模型压到约 111GB、分 4 个文件，借助稀疏 MoE 激活与 llama.cpp 的 SSD 流式加载，可在没有 GPU 的消费级机器上运行

工具概览

功能、使用步骤与常见问题见下方

功能特点

✓ 体积压缩：发布方称把 360GB 的 BF16 模型量化成约 111GB 的 4-bit GGUF、分成 4 个文件，量化后 MMLU-Pro 仍为 87.65，与全精度一致
✓ 稀疏激活：作为混合专家（MoE）模型，每个 token 只激活约 30 亿参数，因此 CPU 推理仍然实用，官方称相比全精度服务器方案把硬件需求降低约 250 倍
✓ 吞吐：按发布方自测，单台服务器 CPU 上最高约 21 token/秒，笔记本上约 4.17 token/秒
✓ 运行方式：兼容 llama.cpp，可在消费级硬件上运行（例如 8GB 显存 + 32GB 内存的游戏本），无需企业级 GPU 集群，权重同时发布在 Hugging Face 与 ModelScope
✓ 适用场景：面向本地、离线或气隙（air-gapped）环境，或没有云账号与专用 GPU 服务器的开发者；模型名遵循 VIDRAFT 的命名策略——RSI 代表能力，POCKET 代表可部署性

使用步骤

从 Hugging Face 下载 FINAL-Bench/POCKET-Darwin-180B-GGUF（或从 ModelScope 获取）
用 llama.cpp 加载其中的 Q4_K_XL GGUF 文件运行推理（CPU 即可，GPU 可加速但非必需）
在你的固定测试集上跑一次，与全精度基线对比，确认量化后质量没有明显下降
把模型放到你的本地或气隙环境中，用于不需要联网的推理任务

常见问题

POCKET-Darwin-180B 是什么？

VIDRAFT 于 2026 年 10 月 2 日发布的 4-bit GGUF 量化模型，是 180B 级 Darwin-180B-RSI 的压缩、可本地执行版本，发布在 Hugging Face 与 ModelScope。

它需要 GPU 吗？

发布方称不需要：它通过稀疏 MoE 激活与 llama.cpp 的 SSD 流式加载，可在没有 GPU 的消费级硬件（如 8GB 显存 + 32GB 内存的笔记本）上运行，GPU 可加速但不是必需。

量化后质量会掉吗？

发布方称不会：该 4-bit GGUF 的 MMLU-Pro 为 87.65，与全精度版本的 87.65 相同。不过多个来源建议永远用固定测试集把量化模型与基线对比，不要凭肉眼判断。

速度怎么样？

按发布方自测，单台服务器 CPU 上最高约 21 token/秒，笔记本上约 4.17 token/秒。

为什么值得关注？

它把 180B 级模型的本地推理门槛从企业级 GPU 集群降到消费级硬件，适合需要在本地、离线或气隙环境中运行大模型的开发者。