企业AI好不好用，为什么不能只看排行榜？

同样一个模型，在演示里能读懂长文、写出漂亮报告，接进公司的网盘和业务系统后，却可能把旧制度当成新规定，把“准备发送”说成“已经发送”。这类落差，未必换一个排行榜名次更高的模型就能解决。

企业买到的是一套工作系统，排行榜主要展示的是模型在特定试题上的表现。两者有联系，却不能直接画等号。

10月30日，微软研究院介绍了面向Copilot的合成企业评测数据平台：不输入客户数据，依据公开职业与组织信息构造模拟企业，再生成贴近工作的测试问题。它已进入微软内部共享目录，供团队复用，并非一款宣布向公众开放的新工具。微软官方介绍

这件事值得关注的地方，不是又多了一套测试题，而是企业AI的评价单位正在改变：从一段答案，转向一项有上下文、有边界、有后果的工作。

分数回答“会不会”，业务还要问“能不能交付”

设想一个采购助手。员工问“这批设备能否直接下单”，AI需要找对正在生效的制度，识别金额和采购类别，判断提问者权限，再区分“可以申请”与“已获批准”。即便每一步单独看都不复杂，连接起来仍可能出错。

如果测试只问“采购流程一般有哪些步骤”，回答流畅就容易得高分；把同一道题改成“按本公司现行制度，这笔申请下一步找谁”，模型就必须处理具体材料之间的关系。再允许它提交申请，问题又从知识准确性变成了操作正确性。

所以，企业选型至少要拆开三件事：模型能理解什么，系统能找到什么，工具最终改变了什么。把三者压成一个总分，很容易把接入缺陷归咎于模型，也容易把漂亮的表达误认成可靠的执行。

第一张成绩单：找来的资料对不对

知识库项目常把注意力放在“答案像不像”，但一段引用完整的回答，仍可能建立在错误材料上。旧版本、重复件、失效链接，以及检索不到的附件，都可能让模型认真地回答错问题。

微软Foundry的评测文档把检索过程与最终回答分开：检索看相关资料是否被找到，回答再检查是否有依据、是否切题、是否遗漏关键内容。“没有编造”和“回答完整”是两种不同要求。RAG评测说明

对企业来说，这个区分有直接的排障价值。如果正确材料压根没进入上下文，应先处理索引、分类、版本或访问范围；如果材料已经找对，答案却漏掉例外条件，再看提示、模型和输出检查。否则，不断换模型，可能只是让同一批错误材料得到更流畅的转述。

第二张成绩单：事情究竟办成没有

AI说“工单已建立”，不等于工单系统里真有记录。接口超时后再试一次，也可能从“任务没完成”变成“创建了两张重复工单”。这些失败，在只阅读最后一段对话时很难发现。

Anthropic的智能体评测指南强调，要区分运行过程记录和环境中的最终结果，并通过多次尝试观察表现，而不是只看一次成功演示。智能体评测指南

因此，测试可以加入几种不那么“配合演示”的条件：工具返回空结果、写入成功但响应丢失、用户中途改口、资料相互矛盾。好的系统不一定每次都能继续，它也应该知道何时停止、何时查原结果、何时明确说明尚未完成。

对会操作系统的AI而言，可靠地承认失败，往往比自信地补上一句“已完成”更有价值。

合成企业有用，但不能代替真实验收

构造一家公司来测试，优势是可以控制条件。团队能够安排一份过期制度、一次部门调整、一条含糊请求，再观察系统是否做出预期反应；也能在升级前后重复同一组任务，减少“感觉好像更聪明了”的争论。

但模拟数据可能过于整齐，模拟员工也可能比真实员工更愿意把话说完整。生成试题和评分标准的模型，还可能偏好某类表达方式。

一项2025年的RAG研究在四个数据集上发现，合成测试对比较不同检索配置较可靠，但在比较不同生成模型架构时，没有始终得到可靠的排序。这是特定实验的结果，却提醒我们：测试适合回答哪类问题，本身也需要验证。研究论文

合理的做法，是让合成测试负责可重复的边界检查，让经授权、适当脱敏的真实工作样例检验业务适用性，再用上线后的异常记录补足盲区。三者相互校验，比单独追求一个更大的题库更重要。

小团队不必先搭一座评测平台

下面是一种轻量起步办法，并非微软平台的操作教程：先选一个高频场景，例如查制度、整理会议事项或生成内部工单。收集十几到几十条有代表性的任务，给每条写清“应该找到什么、应该输出什么、不允许做什么”。

测试集可以分成四组：

• 正常任务： 信息齐全，能否给出可直接使用的结果。
• 边界任务： 同名文件、新旧版本或条件缺失，能否区分或追问。
• 拒绝任务： 无权限、无证据或超出职责，能否正确停止。
• 故障任务： 检索失败、接口超时或部分成功，能否说明真实状态，避免重复操作。

评分不必一开始就复杂。记录“完成、需人工修正、失败”，再加上耗时、费用和错误原因，就比只保存成功截图更有用。重要任务应重复运行；涉及权限、承诺或写入的失败，单独列为上线阻断项，不让其他容易题的高分把它们平均掉。

后续每次更换模型、修改提示词、调整检索规则，都重新跑这组任务。新发现的真实失败，补成一个可复现用例。题库由此成为一份不断积累的业务经验，而不是一次选型汇报的附件。

真正该比较的是“完成一次工作的代价”

企业最终关心的，通常不是单次回答多快、每千个token多便宜，而是完成一项可验收工作的总成本：AI调用、员工核对、失败重做，以及必要的人工接手。

这也是选择模型时更务实的次序：先看能否守住业务边界，再看任务完成质量，最后比较速度与成本。不同岗位可以有不同配置，没有必要让所有工作服从同一个综合排名。

排行榜仍然有价值，它帮助团队缩小候选范围。只是走到企业落地这一步，最后一张录取通知书，应该由自己的工作样例来签发。