MCPHallu：智能体说“做完了”，怎样判断它有没有编造？

让 AI 查资料时，读者通常会追问来源。让 AI 修改文件、操作软件或完成一项业务流程时，一个同样重要的问题却容易被忽略：它说“完成了”，究竟依据什么？

2026年11月5日提交的预印本 MCPHallu，关注的正是会调用工具的智能体。研究从推理、执行和记忆三个环节检查容易诱发幻觉的任务，包含358项任务、36个生产级 MCP 服务器，并在隔离容器中运行。这里使用真实工具生态，不等于在真实企业业务中做无约束实测。论文及提交记录

这项研究值得关注的地方，是把可靠性的讨论推进到了行动过程：输出一段可信文字，与交付一个可验证结果，中间还有一整条可能出错的链路。

失败可以接受，掩盖失败很危险

论文将问题分为分支混淆、不可达目标、工具误用和上下文遗忘四类。作者的定义特别排除了被智能体正确识别并报告的失败：坦承工具报错、说明任务做不到或请求澄清，并不因此构成幻觉。论文对幻觉的定义

对企业来说，这个区别非常实际。假设助手被要求修改订单，但它只有查询权限。它查询了订单、解释无法修改，业务没有完成，却保住了真实状态。相反，如果它生成了一份看似完整的修改说明，用户可能就此停止跟进，真正的损失发生在后续履约环节。这是帮助理解风险的示例，并非论文中的企业事故记录。

因此，产品界面不宜把所有结果压成“成功”与“失败”两种颜色。更有用的状态至少要说明：已确认完成、部分完成、等待授权、暂时失败，以及结果尚不能确认。用户需要知道下一步由谁做，而不只是看到一段礼貌的结束语。

“不可达目标”考验的是停止能力

研究对14个智能体模型进行了5,012条轨迹评估。“不可达目标”子项通过率为23.2%；整体平均综合得分为0.642。前者不能改写为“23.2%的智能体产生幻觉”，后者也不是64.2%的任务成功率。论文实验摘要

这些数字体现的是特定测试设置中的表现，不能直接推算某家公司上线后的事故比例。但它们提出了值得保留的验收问题：当目标超出当前工具能力时，系统能不能及时识别边界？

“继续尝试”有时是能力，有时只是重复消耗。若失败来自临时网络异常，有限重试可能有用；若缺少必要权限，重复同一个调用不会凭空产生权限。更危险的是，模型为了给出完整答案，把计划中的动作写成已经发生的动作。

开发者可以把这类差异落实为明确规则：区分可重试错误与能力缺失，为重复调用设置上限，对高风险步骤保留人工确认。是否停止，不该完全依赖模型在长对话中的临场判断。

流程越长，越要保存明确的业务状态

设想一项退款核对任务：先获取订单号，再确认客户身份，最后核查退款记录。中间每一步都可能拿到相似编号。最终答案语言流畅，也不能证明它始终围绕同一个订单工作。

一个可操作的改进，是让关键字段脱离自由文本叙述，保存在结构化任务状态中。例如分别保存订单标识、来源系统、查询时间和当前确认状态；进入下一步之前，检查这些字段是否仍与用户目标一致。模型负责理解，系统负责维持关键约束，两者分工比反复强调“请认真检查”更具体。

对结果同样如此。写入操作返回成功之后，可以在权限允许的情况下再次读取目标状态，核对内容是否一致。如果暂时无法读回，就应把状态保留为“已提交、待确认”，而不是自动升级为“完成”。这一设计建议来自对业务风险的分析，并非声称所有操作都必须使用同一种验证方法。

总分之外，企业应该准备自己的反例

采购或选择智能体时，仅凭综合排行榜很难回答具体问题。一家以财务查询为主的企业，与一家允许 AI 修改生产配置的公司，面对的错误成本不同，验收重点也应不同。

更有效的试点，可以先准备一组业务反例：工具缺失、对象重名、权限不足、数据过期、前置条件不满足，以及执行后暂时查不到结果。每个反例都预先写明允许的行为、应该停止的位置和需要交给人的信息。

验收记录则至少保留用户目标、工具输入、真实返回值、状态变化和最终报告。这样才能区分“工具本身失败”“模型理解错误”与“执行结果被夸大”。遇到问题后，团队也才有机会修复具体环节，而不是笼统地换一个更大的模型。

把“完成”的定义写进产品

一个容易被忽视的细节是，业务方与工程师可能对“完成”有不同理解。对工程师来说，调用返回正常就结束了；对用户来说，往往需要在目标系统中看到正确结果。试点开始前，两者应共同确定验收条件，避免项目上线后才发现承诺存在歧义。

例如，准备一份报告可以以文件存在且内容齐全为标准；提交一项申请，则可能还需要区分“已发送”“已受理”与“已批准”。后两个状态不一定由智能体控制。界面与通知应准确传递这些差别，让用户知道哪些进展已经发生，哪些还依赖外部流程。

评估也应同时奖励正确执行与正确停手。如果系统只按完成数量打分，开发过程就容易忽略那些应当拒绝或交接的任务。相反，把所有不确定情况都交给人，也会失去自动化价值。合理目标是在明确边界内尽量完成，超出边界时提供足够信息，让人能够继续处理。

MCPHallu 仍是一项有特定任务构造与运行环境的预印本研究，不能充当某个产品全面安全的认证。它提供的实用提醒是：当 AI 开始替人行动，诚实地说明不能完成，与可靠地完成任务一样，都是必须被认真测试的能力。