欢迎光临北京软件和信息服务业协会官方网站
AI 的执行完全正确,为什么仍然做错了任务?- 从 Loop Engineering 看双闭环架构:当 Agent 具备自主能力,如何持续确认它仍在做对的事?
发布日期:2026-08-13    来源:灵犀科技    分享到:

模型给出的答案可能完全正确,却没有察觉问题所处的场景已经改变,因而未能处理真正需要完成的任务。


第一篇聚焦「如何理解任务」,关注的是任务的业务脉络,以及行业专家如何把场景、风险与后果带进系统,为 AI 提供理解任务所需的业务灵魂;本篇将进一步讨论,如何把这种理解转化为可执行、可检查、可修正的系统机制,以及支撑这套机制的技术骨架。


当 AI 从回答问题走向自主执行,系统开始透过工作流程、工具调用、测试与反馈,让 Agent 在执行过程中发现偏差并修正错误。近期工程领域所讨论的 Loop Engineering(闭环工程),正代表了这种从一次性提示转向持续执行与自我修正的设计方向。


但执行机制越完整,一个更根本的问题也越不能忽略。即使 AI 正确调用了工具,完整执行了流程,也修正了所有能被发现的错误,它仍然可能做错任务。问题可能不在执行,而在系统被设定去完成的事情,与当下真正需要完成的事情之间已经出现错位。


这种错位可能从一开始便存在,但更可能是在执行过程中,随着新的信息、风险或场景变化而产生。原先正确的任务一旦发生改变,执行系统若仍依照原有目标运作,便可能流畅而准确地完成一个已经失效的任务。


因此,本篇要追问的是:当 Agent 已经具备执行与自我修正能力,系统如何知道自己仍然在做正确的事情?如果任务已经改变,而目标、流程与验证标准没有随之调整,那么执行得完全正确,究竟意味着什么?


一、闭环能验证执行,却不能保证任务正确


要理解 AI 为什么可能执行得完全正确,却仍然做错任务,首先必须区分两件经常被混在一起的事:系统是否按照既定要求执行,以及这些要求是否仍然对应真正需要完成的事情。


测试与反馈闭环能够帮助 AI 发现偏差、修正错误,并逐步符合预先设定的标准。但它们所验证的,始终是已经被定义的目标。当场景发生变化,原来的任务与成功标准可能已经失效,而系统未必能从执行结果中察觉这一点。


Loop Engineering 的基本思路,是不再期待一段 Prompt 一次完成整个任务,而是透过测试、反馈、记忆、重试和停止条件,让 Agent 在反覆迭代中逐步修正结果。


这类设计回应了大语言模型输出的不确定性,任务一旦涉及多个步骤,任何一个环节出错,都可能影响后续结果。与其预先写下一套冗长指令,期待 AI 从头到尾完全照做,更实际的方式,是让系统在每次行动后取得反馈,再根据结果决定继续、修正、重试还是停止。


这种方法对程式开发尤其有效。程式能否编译、是否通过测试、是否符合输出介面规格,都可以成为清楚的反馈信号。AI 写出程式码后,可以根据测试结果反覆修改与执行,直到符合预定要求。


不过,任何闭环都隐含了一个前提:系统必须先知道自己正在追求什么。


反馈机制可以衡量当前结果与既定目标之间的偏差,帮助 AI 调整下一步行动,却无法只凭偏差本身判断原先设定的目标是否依然正确,也不能判断任务在执行过程中是否已经发生变化。就像是一列火车,如果偏离轨道,控制系统可以协助它修正方向;但如果目的地错了,再精密的控制也只是让它更准时地抵达错误的地方。


7f8b794d-3365-4a10-ae21-f30d32d34c7c.png

图1:高精确度不等于高准确度 —— 系统可以稳定地偏离真正目标


如上图,这种风险可以借用「精确度」与「准确度」的概念来理解。Loop Engineering 所改善的,主要是执行的精确度:测试、反馈与重试让 Agent 更稳定地收敛于既定目标。但这不等于任务本身具有准确度。当场景已经改变,系统可能以很高的精确度,持续完成一个已经偏离真正需求的任务。


低精确度的错误通常容易暴露,因为结果分散、表现不稳定;高精确度的偏差反而更容易被误认为可靠,因为每一次执行看起来都十分一致。这也是自主执行带来的一种新风险:AI 不再只是偶尔答错,而可能在一套运作良好的闭环中持续检查、反覆修正,最后把一个错误目标执行得十分彻底。


测试经常被视为 AI 系统中最可靠的反馈。相较于让另一个模型判断一段回答「看起来是否合理」,测试可以提供比较明确的证据,但测试能够验证的,只是已经被辨识、表达并写入系统的要求。那些没有被察觉、没有被定义,或者根本没有被纳入测试的问题,不会因为测试全部通过而消失。


即使在程式开发中,测试通过也不能证明软体必然符合真实需求。它只能说明程式通过了现有测试,不能证明测试覆盖了所有重要场景,也不能证明团队最初理解的需求,就是用户真正需要完成的事情。


在保险、金融、医疗或企业决策等领域,这个限制更加明显。这些任务的成功标准,往往无法简化为一个即时而离散的结果。系统可能正确回答了条款,却没有发现客户已经进入承保风险场景;完成了一次退款说明,却没有察觉问题已经转变为信任危机;生成了一份数字准确的业绩分析,却没有辨识管理者真正需要处理的是流程与资源配置。


因此,测试反映的,是人事先定义的成功标准。如果人对任务的理解不完整,测试也只会依照这套不完整的标准去判断结果。它可以让 AI 更可靠地符合既定要求,却不能主动发现要求本身遗漏了什么。


上一篇曾以保险等待期谘询为例。当客户补充近期健检异常时,任务已从一般条款回答转向健康告知与承保风险处理。如果系统仍沿用原有目标与验证标准,AI 完全可能提供更完整的条款说明,也顺利通过答案、流程与合规格式检查,却依然没有处理已经改变的任务。


问题不在于原有测试失灵,而在于它们仍然忠实地验证一个已经失效的任务。


因此,如果「任务是否仍然成立」从未被列入验证范围,一套执行良好的系统便可能稳定而高效地完成一个已经失效的任务。这也是为什么,即使 AI 完成了流程、接受了检查并通过测试,企业仍然不能仅凭这些结果认定任务已经完成。


二、让任务理解进入 Agent 系统


本文将这种设计概括为一个企业 Agent 的双闭环框架:除了负责行动、反馈与修正的任务执行闭环,系统还需要一个持续判断任务是否已经改变的任务理解闭环。


指出测试与执行闭环的限制,并不意味着企业应该减少测试,或者放弃让 AI 自主执行。真正需要补足的,是让任务理解成为 Agent 运行的一部分:当新的场景信号出现时,系统必须重新判断任务状态,并据此调整目标、权限与验证标准,必要时改变流程或要求人类介入。


两个闭环处理的,是不同但必须持续连接的问题。


任务执行闭环处理的,是在目标已经明确的情况下,AI 如何采取行动、取得反馈、修正偏差,最后完成任务。测试、工具调用、记忆、成本限制和错误熔断,大多服务于这一层,提高的是执行的可靠性。


任务理解闭环处理的,则是随着新信息出现,系统如何判断当前任务是否已经改变,并持续校正对任务的判定。在真实业务场景下,客户的一句补充、数据的一个变动,都可能改变任务的性质。


两个闭环之间的关系,也不是先理解、再执行,之后便各自结束。执行过程中会不断出现新的信息,任务理解需要根据这些信息持续校正执行闭环;执行结果也需要回到任务理解中接受重新判断。缺少这种连接,Agent 的自主性便只能表现在它能够自行前进,却无法察觉方向何时需要改变。


8026de93-8e72-4592-84d1-d02d592ed6e6.png

图2:可靠的 Agent 需要任务理解与任务执行两个闭环


如图所示,任务执行闭环负责让 AI 按照既定目标稳定完成工作;任务理解闭环则根据新的场景信号,持续校正目标、权限与验证标准。两者之间若缺少连接,Agent 即使能够自主前进,也未必能察觉任务何时已经改变。


目前不少 AI 项目让行业专家参与的方式,主要仍是核对答案是否正确,补充知识内容,或者修正文案表达。这些工作有其必要性,但不足以体现行业经验真正能为系统带来的价值。


一名有经验的保险从业者与条款知识库之间的差别,在于他能够从客户的语气、提问方式和前后对话中,察觉事情的性质正在改变。他能感知到一个普通问题何时开始涉及风险,也知道哪些错误不能只靠事后修正。这些经验只有被转化为 AI 能够辨识的信号、任务状态与控制条件,才能真正进入 Agent,而不是停留在上线前的内容审核。


在不少采用闭环设计的 Agent 中,一个模型负责生成,另一个模型负责检查。这种 Maker–Checker 设计有助于减少遗漏,也比让同一个模型自行肯定结果更可靠。但 Checker 能发挥多大作用,仍然取决于人要求它检查什么。如果 Checker 只是确认条款、流程、格式是否正确,它仍然是在验证既定任务的执行情况。一旦任务本身改变,即使这些检查全部通过,也不能说明系统做的是正确的事。


在复杂的业务场景中,Checker 还需要判断目前的任务分类是否成立,新出现的信号是否会改变目标,以及当前的流程是否仍然适用。当证据不足以支持下一步,或错误后果可能无法逆转时,检查机制必须能够停止自动化,要求人类介入。这种约束使得 Checker 的角色不只在于审核答案与执行结果,还进一步延伸到检查系统对任务的理解是否仍然有效;而它所依据的检查规则与标准,仍然需要由人事先定义。


当 Agent 可以自行规划、调用工具、检查结果并持续修正时,人类确实不必再逐步监督每一次操作,但人的位置并没有从系统中消失,而是从流程中的即时操作者,转向更上游的系统设计者。


任务理解闭环,是 AI 具备自主执行能力后容易被忽略的一面。AI 自主化的意义,不只是减少人工操作,也意味着人的工作必须转向设计系统如何理解场景、如何改变方向,以及在什么情况下不能自行前进。


结语:自主执行,也必须有能力改变方向


Agent 的进步,使 AI 能够自行规划、执行、检查并修正。但这些能力解决的,主要是如何把既定任务做得更稳定,并不能保证系统始终在处理真正需要完成的事情。


当新的信息改变任务的性质,系统必须能够重新判断目标、权限与验证标准。这也是为什么可靠的 Agent 需要两个相互连接的闭环:任务执行闭环确保工作能够被完成(把事做对),任务理解闭环则持续确认这仍然是应该完成的工作(做对的事)。


行业专家的价值,是把真实世界中的场景、风险与责任,转化为系统可以辨识和使用的判断条件。人的角色不再是逐步监督每一次操作,而是设计 AI 在什么情况下可以继续,何时需要改变方向,以及在哪些地方必须停下来。


AI 自主性的关键,从来不只是让它能够自行前进。更重要的是,当任务已经改变时,它能否知道原来的方向不应再继续。

你知道你的Internet Explorer是过时了吗?

为了得到我们网站最好的体验效果,我们建议您升级到最新版本的Internet Explorer或选择另一个web浏览器.一个列表最流行的web浏览器在下面可以找到.