Tether AI Research 在 Hugging Face 上发布技术博客，介绍其 0.8B 参数的端侧 agent 模型 BotPsy。Tether 称，该模型在 IFBench 上陷入重复推理循环的比例从 22.9% 降到 1.4%，BFCL v4 分数从 23.4 升到 44.0。据 Tether 博客，BotPsy 基于 Qwen3.5-0.8B 构建，经过四个阶段训练：监督微调（SFT）、多教师在策略蒸馏（MOPD）和两轮强化学习（RL），目标是在端侧设备上完成工具调用和 agent 工作流。模型将以 Apache 2.0 许可开源，提供 bf16、Q8、Q4 三种精度。

要点一：基准分数相对基座模型接近翻倍

据 Tether 技术博客，BotPsy 在多项工具调用和 agent 基准上将基座模型 Qwen3.5-0.8B-Think 的分数大致翻倍：BFCL v4 从 23.4 升至 44.0，ACEBench 从 30.1 升至 58.7，τ-bench（retail、telecom、banking 三个子集的均值）从 23.2 升至 51.5。在 ToolSandbox 上从 30.5 升至 64.6，BrowseComp-Plus 从 1.9 升至 4.5。

Tether 称，多轮对话场景的提升幅度最大。BFCL v4 多轮任务从 7.5 升至 46.1，ACEBench Agent 从 7.9 升至 28.3。在 τ²-bench 的 telecom 子集上，BotPsy 得分 82.5，需要在多轮对话中引导用户完成故障排查。同时，BotPsy 在 BFCL v4 的幻觉测试（模型需在无合适工具时拒绝调用）中得分 86.1。在 ACEBench 的特殊情况测试（请求不完整、参数错误或工具无法满足）中，从基座的 13.7 升至 51.3。不过 Tether 指出，Qwen3.5-2B-Think 在该项仍领先（58.0 对 51.3）。

Tether 同时指出，工具调用训练没有损害通用知识：GPQA Diamond 从 33.2 升至 38.1，MMLU-Pro 从 41.6 升至 48.9。指令遵循方面，IFEval 从 59.7 升至 90.8，IFBench 从 22.0 升至 55.9。不过 Tether 也承认，知识能力主要随参数量扩展，2.5 倍大的 Qwen3.5-2B-Think 在 GPQA Diamond 和 MMLU-Pro 上仍远高于 BotPsy（59.9 和 65.5）。BotPsy 的设计意图是通过调用工具获取它不掌握的事实，而非充当知识模型。

要点二：在 ≤1.2B 级别六项 agent 基准上均超过对比模型，五项超过 2.5 倍大的模型

据 Tether 博客，BotPsy 在 BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus 六项基准上均超过同级别（≤1.2B 参数）的对比模型，包括 Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think 和 MiniCPM5-1B-Think。

Tether 称，BotPsy 在其中五项基准上还超过了参数量为其 2.5 倍的 Qwen3.5-2B-Think：BFCL v4（44.0 对 37.7）、ACEBench（58.7 对 55.4）、τ-bench（51.5 对 46.5）、ToolSandbox（64.6 对 41.2）、BrowseComp-Plus（4.5 对 2.8）。只有 Claw-Eval 上 Qwen3.5-2B-Think 领先（48.9 对 46.5）。在按应用领域分组的多步任务中，BotPsy 在 Commerce & Services（58.3 对次高的 47.4）和 Device & System Management（46.1 对 31.9）上领先所有对比模型。

Tether 也列出了 BotPsy 的弱项：BrowseComp-Plus 绝对分数仅 4.5，BFCL 的 web search（14.0）和 memory（16.3）落后于 Qwen3.5-2B-Think（19.8 和 26.1）。复杂信息检索场景得分仅 15（单次调用为 79），多数来自 BrowseComp-Plus 的深度研究问题，对该参数量级的所有模型都很困难。τ³-banking 子集上没有模型超过 5 分。此外，Multi-IF 测试中 Hindi（24.5）和 Russian（57.6）远低于英语等语言的 72–80 分。

要点三：推理效率和可靠性——死循环率 22.9% 降至 1.4%，推理 token 最多减少约 3 倍

据 Tether 博客，在 IFBench 的所有尝试中，BotPsy 陷入重复推理循环的比例从基座模型的 22.9% 降至 1.4%，触及 32k token 上限的比例从 28.3% 降至 0.2%。

Tether 称，在五个模型都答对的题目上（排除难度差异），BotPsy 每个正确答案所用的推理 token 数相比基座模型大幅减少：GPQA Diamond 上 3,690 对 11,563（约 3 倍），MMLU-Pro 上 1,912 对 5,105（约 2.7 倍），IFBench 上 4,204 对 11,576。在多轮 agent 任务中，BotPsy 也需要更少的助手轮次：τ²-telecom 上 13.1 轮对基座的 17.6 轮（减少 26%），同时通过的任务数是基座的 2.6 倍。

在安全性方面，Tether 称 BotPsy 在六个危害类别的自动红队测试中产生不安全回复的比率为 21%，低于基座模型的 36%，也低于 LFM2.5-1.2B-Think 的 35% 和 MiniCPM5-1B-Think 的 47%。在提示注入攻击下，不安全率从基座的 46% 降至 31%。

一个疑问：端侧部署的实际延迟和设备表现在哪里？

Tether 在博客中反复强调 BotPsy”适合端侧部署”（suitable for on-device deployment），提供了 GGUF 量化文件，并表示更短的推理”应能降低端侧延迟”（should reduce latency on-device）。但整篇博客没有给出任何具体设备上的推理延迟、首 token 时间、吞吐量或内存占用数据，也没有指明在哪些手机、芯片或边缘设备上做过实测。所有使用外部 API 的基准评测均在 2026 年 11 月 3 日运行，评测脚注中未提及端侧硬件条件。

据 Tether 博客，对比范围限定在 ≤1.2B 参数的模型，具体包含三个同级对比对象（Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think、MiniCPM5-1B-Think）以及参数量为其 2.5 倍的 Qwen3.5-2B-Think。博客原文也明确写道，BotPsy”最适合低到中等难度的任务”，”作为小模型仍会犯错”，”不适用于安全关键或高风险的自动化决策，也不适用于涉及金钱、个人信息、健康等敏感话题的应用”。

主题分类：端侧小模型/Agent

参考资料

  1. BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Tether AI Research / QVAC, 日期未标注