Agnes-2.5-Pro-Alpha大模型推理源码本地API对话接口平台

Agnes-2.5-Pro-Alpha大模型推理源码本地API对话接口平台

  • 承接源码二开、定制
  • 各种脚本CMS插件定制
  • 全站源码免费下载
资源下载
免费资源
立即下载

源码系统概览

文章正文

Agnes 2.5 Pro Alpha 是 Agnes AI 开源的多模态推理大模型,基于 Qwen3.5-397B 后训练,是面向代理式编码与长上下文推理能力定向后训练的版本。

它支持一百万 token 上下文、图像理解与工具调用,既可本地以 SGLang 部署,也可直接调用官方 API。

源码简介

Agnes 2.5 Pro Alpha 以 Apache 2.0 许可发布在 HuggingFace,模型类型为多模态推理模型,基座为 Qwen/Qwen3.5-397B-A17B。

仓库包含 config.json、generation_config.json、chat_template.jinja、tokenizer 与预处理配置,并附带视频预处理配置,说明其具备图像与视频理解能力。

上下文窗口为一百万零四十八万 token,最大输出六万五千五百三十六 token,精度为 BF16,支持工具调用与流式输出。

它提供 OpenAI 兼容的 Chat Completions 与 Responses API,本地部署用 SGLang 做八卡张量并行,云端则通过 apihub.agnes-ai.com 免本地 GPU 调用。

官方基准显示其在 Terminal-Bench、CritPt 与 AA-Omniscience 等项目上表现突出,尤其在代理式编码与长上下文推理上接近头部模型。

适用场景

仓库级编码与调试,处理跨多文件的大型改动与重构。

科研推理与长文档合成,在一百万 token 上下文里读完论文或代码库再作答。

图像与图表理解,传入图片 URL 让其解释异常与趋势。

工具驱动智能体,结合函数调用在长复杂上下文里分步推理与行动。

功能亮点

百万 token 上下文,可一次性读入超长代码库或文档。

图像理解,支持以公开图片 URL 作为输入做视觉分析。

工具调用,兼容函数调用与 OpenAI Responses API 的 agent 流程。

扩展推理,对复杂任务启用长链思考再给答案。

双部署形态,本地 SGLang 或云端 API 任选,接口相互兼容。

Apache 2.0 开源,权重与配置可自由获取与自托管。

技术架构与部署指南

技术栈与运行环境

模型格式:Safetensors 多分片 BF16 权重,附带 tokenizer 与 chat_template 配置。

推理引擎:SGLang 启动服务,–tp 8 做张量并行,–reasoning-parser qwen3 启用推理。

接口协议:OpenAI 兼容的 Chat Completions 与 Responses,base_url 指向本地或云端。

硬件要求:本地部署建议八张 H200,约一 TB 高速 NVMe 存放权重与缓存。

许可协议:Apache 2.0,衍生自同样 Apache 2.0 的 Qwen3.5-397B 并保留原始版权声明。

安装与部署提示

本地部署先安装 SGLang,用 python -m sglang.launch_server 指定模型路径与 –tp 8 启动服务。

云端调用只需 pip install openai,把 base_url 设为 https://apihub.agnes-ai.com/v1 并填入 AGNES_API_KEY。

图像理解在 messages 里以 image_url 传入公开可访问的图片地址,模型返回文字解释。

推理建议 temperature 1.0、top_p 0.95、top_k 20,并留出足够的 max_tokens 容纳扩展思考。

截图与演示说明

config.json 描述模型架构与分词配置,是理解该权重规模与模态的第一入口。

chat_template.jinja 定义对话模板,tokenizer.json 与 tokenizer_config.json 决定切分与特殊 token。

README 中的基准表按代理式编码、长上下文、知识可靠三类列出与头部模型的对比,是可演示的能力页。

assets 下的 logo 与 benchmarks 图构成项目主视觉,video_preprocessor_config.json 说明其视频理解扩展。

Agnes-2.5-Pro-Alpha大模型推理源码本地API对话接口平台

常见问题

问:能在单张消费级显卡上跑吗?

答:不能,官方 Quickstart 用八张 H200 做张量并行,单卡显存放不下 BF16 多分片权重;轻量使用建议走云端 API。

问:支持看图吗?

答:支持,输入模态包含文本与图像,调用时传入公开图片 URL 即可让其解释图表与异常。

安全风险提示

AGNES_API_KEY 等密钥请放在环境变量,不要写进代码或提交到仓库。

模型输出可能包含错误,涉及高危决策与工具动作需在应用层校验后再执行。

本地权重约一 TB,请从 HuggingFace 官方地址获取并校验完整性,敏感数据遵循 Agnes AI 服务条款。

下载说明

本仓库仅供学习与研究使用,部署或调用前请阅读 Apache 2.0 许可与 Agnes AI 服务条款。

权重体积较大,需自行从 HuggingFace 获取,本站不提供违规镜像或破解。

使用本模型产生的任何内容,均由使用者自行承担合规与版权责任。

HuggingFace 项目地址:https://huggingface.co/Agnes-AI/Agnes-2.5-Pro-Alpha

资源下载
下载价格免费
本文章资源https://www.aosen.cc/mianfei15256.html来源于互联网,如存在侵权,请联系我们立马删除!
0
显示验证码