模型系统概览
| 维度 | 本套源码 | 同类通用方案 |
|---|---|---|
| 技术栈 | 见正文技术栈 | 依具体方案选型,需自行搭建与维护 |
| 部署方式 | 见正文部署提示 | 多托管于第三方平台或订阅云服务 |
| 功能侧重 | 见正文功能亮点 | 功能通用,定制深度有限 |
| 数据归属 | 数据自持,部署在自有服务器,不出站 | 数据通常留存于服务商侧 |
| 成本模式 | 获取后自主部署,无持续授权费用 | 通常按订阅或调用量计费 |
文章正文
Nanbeige4.2-3B 是南壁(Nanbeige)LLM Lab 开源的一款紧凑型因果语言模型,以仅 3B 非嵌入参数在通用智能体与代码智能体基准上超越部分 9B、12B 量级模型。
它以本地部署与多步工具调用为核心设计目标,适合作为个人助理、代码智能体与深度研究的工作引擎,权重与推理代码均在 Hugging Face 开放获取。
模型简介
Nanbeige4.2-3B 总参数约 4B,其中非嵌入参数 3B,属于轻量级但高密度的文本生成模型。
模型基于 Nanbeige4.2-3B-Base 构建,采用 Looped Transformer 架构,通过复用 Transformer 层在几乎不增加参数的前提下扩展容量。
上下文长度最高支持 262,144 tokens(256K),便于处理长文档与长链路智能体任务。
核心能力
智能体能力:在 GDPval、Agent-IF-Oneday、Office-QA-Pro、Pinch-Bench-V2、Claw-Gym、MCP-Atlas 等通用智能体与办公自动化基准上表现突出。
代码智能体:SWE-Bench Verified 达 63.6、SWE-Bench Pro 46.9、Terminal-Bench 2.0 44.1,可承担真实仓库级修复与终端操作。
强推理:GPQA-Diamond 87.4、HMMT-Feb-2026 82.8、LiveCodeBench-V6 72.5,覆盖数学、科学、编程等高难度评测。
技术架构
后端:Looped Transformer(含 LoopSplit、mHC with depth attention、concatenated n-gram embeddings 等结构改进),纯 PyTorch / Transformers 生态。
运行环境:支持 CUDA GPU 与 Apple Silicon(MLX),亦可经 GGUF 量化在 CPU / 消费级显卡本地运行。
其他依赖:Transformers、vLLM / SGLang 推理服务、llama.cpp / ollama 本地运行时,按部署形态选择。
适用场景
本地个人助理:配合 OpenClaw 等框架处理日常协助、办公自动化与深度研究,数据留在本机。
代码智能体:承接仓库级缺陷修复、终端命令执行与多步工具调用流水线。
研究与教学:3B 规模便于在单卡环境复现智能体与推理实验,降低算力门槛。
部署与调用方式
通过 Transformers 加载:from_pretrained 指定仓库并 trust_remote_code=True 即可推理。
高吞吐部署:使用 vLLM 或 SGLang 的专用分支(nanbeige42)启动 OpenAI 兼容服务。
本地轻量运行:经 llama.cpp / ollama 的 nanbeige42 分支转换为 GGUF,支持 MLX 与量化后端。
下载与获取说明
本模型为 Hugging Face 权重仓库,源码与模型权重请在官方地址获取:https://huggingface.co/Nanbeige/Nanbeige4.2-3B。
源码与权重仅供学习研究、测试部署和二次开发参考,商用前请自行确认许可、版权与合规风险;页面未明确声明许可证,使用前请向模型方核实授权。
安全与合规提示
特别提示:本源码未检测安全风险文件,下载后请务必进行安全审计,删除恶意代码后再部署使用!