AI 出错之后，谁来承担损失？

过去几年，这个问题主要出现在 AI 治理（AI governance）与法律责任的讨论里。随着 AI 开始进入企业核心流程，甚至通过 Agent 自主执行任务，另一个更现实的市场也开始面对同样的问题：保险。

IT Pro 在一篇介绍 AI Insurance 的文章中指出，一种专门承保 AI 相关风险的新型保险正在形成。它可能涵盖 AI 幻觉造成的错误建议、算法歧视、版权侵权、模型未达承诺的性能，甚至 AI Agent 自主行动所造成的财务损失。

目前这还不是一个成熟、标准化的保险产品，而是散布在独立保单、附加条款与责任免除之中的新兴风险类别。但真正值得注意的，不是保险公司开始承保 AI，而是当保险公司准备承担 AI 造成的损失时，它们也必须开始回答另一个问题：

什么样的 AI，值得被保险？这个问题，让我们看见 AI 治理正在成为 AI 可保性的基础设施。并且，很可能反过来改变企业治理 AI 的方式。尤其当 Agent 开始具备自主行动能力，企业能否证明其风险可以被理解、限制与追溯，将逐渐成为可保性的关键。

对承保 AI 风险的保险公司而言，这样的挑战，也正在形成新的市场机会。

在成熟的风险市场里，保险公司会先判断一项风险能不能识别、能不能控制、能不能估计损失，最后才能决定是否承保以及应该收取多少保费。

今天，AI 也开始走向这个过程。

Gartner 在 2026 年预测，到 2030 年，财产与责任保险公司可能把健全的 AI 风险控制，列为明确承保 AI 责任风险（affirmative AI liability coverage）的前提条件。具有较成熟 AI 治理与风险管理能力的企业，不仅比较容易获得保险保障，也可能获得更低的保费。

这意味着企业在建立 AI 治理时，除了回答我们如何管理 AI，未来还要能回答：我们能不能向保险公司证明，自己真的控制得住 AI？

这样的要求，并不是纸上谈兵 —— 一份 AI 政策、一套伦理原则，甚至一个 AI 治理委员会，都不足以证明企业真正控制住了风险。因为保险公司真正应该关心的是：事故发生之前，这些治理手段是否已经形成可运作的机制？并且企业究竟因此改变了什么？

要确认 AI 的风险，保险公司会需要知道企业使用哪些模型、模型参与哪些决策、谁负责这些决策；自动化行动是否留下记录；高风险情况下是否有人介入；模型漂移与异常是否会被识别；系统出现问题后，能不能追溯事故是如何发生的。

IT Pro 援引的受访者因此提出一个重要判断：只存在于纸面、没有真正落实为可操作机制的治理，不足以让审慎的核保人员信服。

于是，AI 治理开始出现一个过去较少受到关注的功能：它正在成为 AI 可保性的基础设施。

但是，这里还有一个并未完全解决的问题。目前许多 AI 风险管理仍然以 “模型” 为主要对象。企业建立模型清单（model inventory），测试准确度（accuracy），监测偏差（bias）与模型漂移（drift），并保存输出记录。对生成式 AI 而言，幻觉、歧视与错误输出都可能对企业形成直接损失。

然而，当 AI 变成可以自主执行任务的 Agent，风险的性质便改变了。一个 Agent 可能正确执行了一项已经失去意义的任务；可能在新的信息出现后，仍沿着原来的目标继续推进；也可能每一个单独行动都符合规则，最后串联起来却造成企业不可承担的结果。

这时候，单纯看模型的能力已经不足以判断风险。保险所要面对的风险，逐渐从模型风险延伸到任务治理风险。因此，保险公司用来判断 Agent 可保性的依据，会变成：

这个 AI 在什么条件下可以做什么？如果情境改变，它会不会知道自己不应该继续？

但对企业而言，如何建立 Agent 的可保性？

假设一家企业让 Agent 自主处理客户退款。从模型治理角度，我们可以检查它的回答是否正确、数据是否安全、回答是否存在偏见。但是站在保险公司的角度，可能还必须知道：

Agent 可以退款多少金额？什么情况下需要重新判断客户的真正需求？发现疑似诈骗、新的客户投诉信息或异常交易时，原来的任务是否仍然有效？谁设定 Agent 可以继续执行、暂停或转交人工？最后，又用什么结果证明这次任务真正完成了？

这些问题已经超出传统的模型治理，涉及四个不同的治理机制（请参阅AI Agent 越界之后，谁应该负责？）：

任务设计 —— AI 真正被授权完成的是什么任务；

权限边界 —— AI 能够读取哪些信息、修改哪些内容，以及执行到什么程度；

理解闭环 —— 当新的信号出现时，系统是否能够重新判断任务；

结果验证 —— 任务完成的标准是什么，是流程结束，还是产生了企业真正想要的结果。

过去，我们会把这些机制理解为企业控制 Agent 的方法，但今天它们还有另一个作用。从保险的角度看，它们构成了企业向外部证明 “这个 Agent 的风险是可以被理解、限制与追溯” 的证据。

企业内部的 AI 治理往往面临一个问题：治理本身通常不直接产生营收，因此在效率、速度与业务压力面前，很容易退化成形式上的政策、检查清单与合规文件。

保险的介入，可能改变企业做好 AI 治理的诱因。

2026 年一篇已被 Harvard Data Science Review 接受的 AI Insurance 研究指出，保险公司与一般 AI 评估与验证（assurance）机构有一项本质差异：保险公司需要真正承担 AI 事故所造成的理赔成本。因此，它们有直接的经济诱因，要求企业把治理真正落实到 AI 的部署、测试、监测与验证之中，并可能通过保费与承保条件，反过来促进更安全的 AI 治理。

这个机制在其他领域并不陌生。防火设备、汽车安全、工业风险与网络安全，都曾经在保险定价与承保要求的影响下，逐渐形成可以被市场验证的安全标准。

AI 可能正在进入相似的阶段。如果一家企业无法说明 Agent 的任务边界、操作权限、异常介入方式、结果记录与万一出现事故后的可追溯机制，未来面对的问题可能不只是监管者要求整改，保险公司也可能直接做出另一种判断：

这个风险，我无法定价。

或者：

可以承保，但是保费更高、限额更低，某些 Agent 的自主行动必须被排除。

今天谈 AI 责任，人们经常说：无论 AI 发展到什么程度，最终负责的仍然是人。

这个原则没有错。但当 Agent 具备更高的自主能力，真正困难的问题已经不是事后能不能找到一个人承担责任，而是企业能不能事先证明：人的责任确实已经被转化成系统中可以运作的控制机制。

谁定义任务？谁配置权限？什么信号会要求系统重新判断？什么条件必须停止或转交人工？最后，又如何证明 AI 完成的是正确的任务，而不只是正确地执行？

过去，这些问题主要属于 AI 治理的范畴，AI Insurance 的出现，让它们开始同时成为保险公司的核保问题。

这可能是一个重要的转折。因为一旦保险市场开始为 AI 治理能力定价，治理就不再只是企业自己认为 “应该做好” 的事情，它将逐渐决定一家企业是否有资格让 Agent 获得更大的自主权，更代表着它的 AI 能不能得到大家的信任，它的经营风险能不能被转移。

未来真正区分企业 AI 能力的，或许不只是模型有多强、Agent 能做多少事情，而是企业能不能证明：当 AI 开始自主行动时，它仍然是一个可以被理解、控制与承保的风险。

反过来，AI 时代的保险，也不只是承保 AI 造成的损失，而是评估一家企业是否具备把 AI 风险转化为可理解、可定价、可干预风险的能力。

这既是 AI Insurance 能否真正成立的前提，也可能成为下一阶段保险业必须建立的新专业能力。