本期嘉宾 Rune Kvist，AIUC（AI Underwriting Company）联合创始人，最早入职 Anthropic、负责 GTM 和产品的人之一。AIUC 刚宣布 4000 万美元 A 轮融资，由 Ribbit Capital 领投，客户包括 Cursor、Harvey、Lovable、ElevenLabs——他们做的事，是给前沿 AI 建“信任基础设施”：标准 + 保险。本期对话由《非共识进化论》出品。

我们完成了 4000 万美元的融资，由 Ribbit Capital 领投。做种子轮融资的时候，我们有一个假设：到了某个时点，风险会拖住应用采纳的脚步。那时候，这感觉还挺像是假想的。我觉得现在这个阶段已经结束了——随着 Mythos 和 Fable，这个时刻已经到来。很明显，制约应用采纳的关键约束就是风险。所以对我们来说，这像是同一个假设的自然延续：之前是猜测，现在感觉已经是事实了。我们现在和 Cursor 这样的公司在合作，还有 Harvey、Lovable、ElevenLabs。

2021 年底，我卖掉了一家公司，我的第一家公司，一家科技公司。我有一段时间可以想想接下来做什么。我偶然看到了那篇 scaling laws（规模定律）论文——Kaplan 那篇，不是 Chinchilla 那篇——它就像一道闪电击中了我。规模定律论文讲的就是：模型越大，模型越聪明。而对我来说真正“咔哒”一下打通的那个关键点在于：现在资本会看懂这件事了——你投入更多的钱，就能产出更多的钱，于是这会开启一轮炒作周期，你其实能获得一种可预测回报的感觉，而事实后来也正是这样演变的。所以我二话不说收拾行李。我从来没去过旧金山，直接收拾行李飞到这里，去找写那篇论文的人。当时他们刚成立一个叫 Anthropic 的小实验室，大概 40 人左右。我喝了很多很多咖啡，直到最后终于被引荐给了 Dario。

当时他们正在纠结这样一些问题：我们该部署自己的模型吗？我们该产生收入吗？我们该如何与外部世界打交道？他们刚从 OpenAI 分离出来，而且公开报道过，他们对如何处理部署问题有些顾虑。那就像是战争初期迷雾重重的阶段，大概是 2022 年初。当时最性感的问题就是 Jasper 那种东西，市面上什么都没有——价值会沉淀在哪里？技术栈的各个环节会是什么样，全都是开放的问题。

要说背景的话：自从 AlphaGo 之后，我就多少意识到 AI 是件大事，但它带来的是一大堆有趣的哲学问题，从远处看并不清楚这到底会走向哪里。我是 PPE 背景——哲学、政治学和经济学。从一个哲学和经济学的背景出发，如果这件事成真，你将不得不面对社会中的所有大问题：你学到的关于政治的一切都被扔出窗外，你学到的关于经济学的一切，至少也会受到挑战。让人觉得有趣的地方在于，站在那个前沿上——它的影响会波及一切。

我认为 Anthropic 团队比任何人都想得更深的是：如果你真的把这件事推演到底，它的影响会是什么？当时，他们有一些关于 2026 年世界会是什么样子的愿景文档，非常生动细致地推演了需要多少算力、资本支出会是什么样、会产生哪些社会层面的担忧，还有这里面会产生多大的经济价值。那种感觉就像是他们握着一个水晶球，而事后回看，结果惊人地准确。他们并不是摆出一副“我们显然是对的”的样子，他们只是说：认真对待这个假设，把它想透，再想透。

而且要注意，这是做过 GPT-1、2、3 的同一支团队——这不只是某种实验，这是真实存在的模型，我们只是把它放大了，而他们对此有很深的信念。大体上是这样：如果你把一大团算力和数据放在一起，它就是想要学习，从中会涌现出越来越聪明的模型。那段时间的氛围，惊人地像它今天在外界看起来的样子：极度团结，极度以使命为导向，并且生活在一种张力之中——有两个想法并存：AI 可能变得非常好，也可能变得非常糟，而我们要参与构建它。还有激励上的难题：他们知道自己在参与一场竞赛，在竞赛中你可能被迫走捷径；但同时，身处技术最前沿对他们来说又极其重要。所有这些想法在那个时候就已经存在了。不管你是爱他们还是恨他们，他们真的坚持了自己的立场。

联系是这样的：当时我在 Anthropic 办公室望着窗外，看到 Waymo 的车已经开过去了。2022 年初，Waymo 在某种程度上就像是汽车领域的 AGI——它们是超人类的司机，但你没法坐它去机场。而现在四年多过去了，你还是不能坐 Waymo 去机场，尽管现在大家看过那些证据之后，都会说它们比人类开车开得好。所以在这个具体的例子里，很清楚的一点是：制约 AI 变得有用的关键约束不是能力，而是责任、风险或者信任。而且这是个普遍问题。现在 Fable 之所以没有开放访问，不是因为它不是一个好模型，而是因为它是一个非常好的模型——只是你很难对它不会做什么做出承诺。而这个问题会随着 AI 变强而变得更严重：更聪明的 AI 可以更自主，这更有价值，但风险敞口也随之扩大。Waymo 说明的是：除非你建立起信任基础设施，能够对 AI 做出承诺，或者至少把风险照亮，否则你会让应用采纳陷入停滞。政府、银行、医院、军队，需要对 AI 会做什么、不会做什么有一定的把握，才能运作下去——而这就是我们试图解决的问题。

如果你把这个问题回溯到历史上，每一波技术浪潮都有这个问题的某个版本：19 世纪电力出现了，房子着火，很多人死掉；1930 年代，汽车是件大事，杀死很多人；50 年代，私营核能是件大事，带来巨大风险。在每一个例子里，市场都跑在监管前面，去创建信任基础设施，因为要做“做还是不做”的决策、要实现采纳，那是必需的——而市场从根本上就是想要采纳。在所有这些例子中，都出现了标准加保险的通用蓝图。之所以是这两个组成部分，是因为标准提供了道路规则，也规定了需要跑哪些测试，这样我们才能判断风险有多高——就汽车而言，就是汽车碰撞测试，它们决定了你今天的保险定价，也影响你的购买决策。保险公司之所以重要，是因为他们来买单：他们是那种最有动力如实量化风险、然后想尽一切办法降低风险的私营机构，因为那能提升他们的利润。这两者配合得非常默契。

Rajiv 其实是我未来的大舅子——实际上再过一个半星期，我就要和 Rajiv 的妹妹结婚了。Rajiv 和我认识十年了。有意思的是，我同时认识了 Rajiv 和他的妹妹 Hannah——那时 Hannah 和我都是麦肯锡伦敦的实习生，而 Rajiv 被指派为我的导师。三四年前，他是麦肯锡的保险业务合伙人，我觉得是 Hannah 说服了他，让他相信 AI 会是件非常大的事。于是他辞掉了麦肯锡伦敦那份轻松的合伙人工作，收拾行李飞到旧金山，最后加入了 METR——他们牵头与 Anthropic 和 OpenAI 合作，在模型发布前进行测试，同时也与美国和英国政府密切合作，研究比如你怎么判断一个模型能不能发布。从某些方面说，这是完美的背景：他在保险领域待了很久，了解那个世界，也在前沿模型测试上花了很多时间。当我在这个想法空间里摸索的时候——从那些和 Waymo 有关的想法开始——我们一聊到具体内容，两个人就都说：这会是一门很棒的事业，可以一起做。而且是从市场的角度——市场能做很多事，而市场跑得越快，政府就越难解决其中一些问题。然后我们花了一点时间来想清楚和家人一起工作是什么感觉——早在当时，我们就觉得我们是一家人了。而现在我们之间有着巨大的信任。我们现在只有 20 个人，拿了 A 轮，第一个认证已经发布了。

AIUC-1 是智能体安全、防护与可靠性的标准。基本的设计原则是：把所有拖慢应用采纳的顾虑——所有那些让《财富》1000 强企业的安全负责人夜不能寐的问题和恐惧——放进一个全面的框架里，一共六个类别。第二，你要把这一切都建立在技术测试之上。安全标准常让人觉得像是在做样子、走纸面流程，其中一个问题就在于它们并没有真正落实到“这些东西到底管不管用、重不重要”上。所以我们从一开始就有一个信念：要通过这个认证，你必须每个季度接受测试，基本上是跑上千次模拟——看看它到底能不能被越狱？越狱有多难？它多久出现一次幻觉？多久泄露一次数据？第三个核心想法是按季度更新。因为 AI 的核心特质就是它变化极快：我们今天讨论的这些顾虑，和三个月前并不一样，而且这会持续变化。通常标准是以十年为周期更新的，这显然行不通。核心做法，基本上就是把《财富》1000 强的风险负责人请到同一张桌子上——AIUC-1 Consortium 这个联盟是一群风险负责人，他们运营着真实的银行、真实的医院、真实的关键基础设施。我们每个季度见他们两次，听听他们脑子里最想的是什么、什么让他们夜不能寐，然后把它落实成一个具体的标准。

展开讲讲结构：随便什么人都发布了自己的框架——非常高层级的框架，讲 AI 有哪些风险。我们把所有东西映射在一起，你就得到了一个超集（crosswalk，对照映射），而你想支撑的论断是：如果你遵循了这套框架，那你也能看出你是如何遵循其他框架的。但真正的干货在下面的 control activities（控制活动）和 evidence（证据）里：你有这条高层级的要求，如何把它落到可操作的东西上？要求分三类。第一类是技术控制，比如你必须实现某些护栏；第二类是测试控制，也就是你必须让独立的第三方来对你跑一些测试；第三类是策略控制，比如必须有一个具体的人，出事的时候他的名字是要被拎出来负责的，你还必须有一套方案，规定怎么告知你的客户、怎么跟他们沟通——这类属于比较传统的标准型要求。整个标准一共 51 项要求、130 项控制措施。我们会和 KPMG、Schellman 这类审计机构合作，由他们进场去做审计机构该做的事，也就是核查证据——在这个案例里，证据可能是一张截图，也可能是他们需要审查的一段代码，用来确认它确实存在。

端到端的时长几乎总是取决于客户需要我们这边提供一些什么，大概需要3 到 10 周，取决于他们目前的达标程度。有些人来找我们的时候，安全体系已经做得极其严格了，我们测下来效果非常好，就能很快走完。也有些人来的时候还差得比较远，我们就给他们一份需要照着去建的规范，然后他们的安全团队和工程师开始动手建设。测试本身通常需要几周时间，其中还包括他们做整改的时间。我们经常会发现一些过不了的地方——这个真的不达标，你这关过不了，然后他们就需要去实施额外的保障措施，让自己变得更稳健，这样才能真正把手放在胸口、直视客户的眼睛说：嘿，我们真的已经尽了最大努力。认证有效期是一年，并且每季度更新。

其中一部分变化在于，智能体并不只是单一的一种东西：你拿 Cursor 这样的智能体和 Sierra 比，它们其实相当不一样；再和 Harvey 比，和 ElevenLabs 比，都挺不一样的。所以我们想设计一套对所有类型的智能体都适用的标准。我们一开始做的那版基本上是很偏文本的，说实话相当偏客服场景，因为那里现有的需求最多。之后，我在这些其他领域里各挑了一些前沿公司来合作，逐步把标准建起来，确认同一套标准对代码场景适用、对客服适用、对自动化也适用。最近大家最关心的一些事情里，MCP 给安全负责人带来了很多担忧。我们开始收到越来越多关于智能体与智能体之间交互的问题——目前还非常早期，但已经开始出现了。有很多和 Open Claw 以及 MCP 相关的问题，智能体开始互相交互这件事，真的是最受关注的。然后随着编码智能体真正起飞，银行、医院这些机构对自身需求也变得越来越精确，我们会更加聚焦——因为这正在成为全球大部分 token 流经的地方。

最重要的一点是，很多公司没有做过严肃的压力测试。他们把大部分时间——也许这么做也没错——都花在优化顺利情况下、平均情况下的表现，以及对客户来说输出质量有多高。而且这些公司很多都还很新，没花多少时间做压力测试：对面站着一个对手的情况是什么样的？有哪些复杂的边界情况是你其实没认真考虑过的？你在创业公司身上经常能看到这一点，通常要过挺久他们才会招第一个安全负责人，而那和单纯把产品做好，是完全不同的一类风险敞口。

大多数公司其实架构本身是对的：他们大多都部署了某种护栏——有的是模型供应商开箱即用的，有的是他们自己在中间自建的过滤器。比如放一个分类器进去，检查你是不是在提供本不该提供的医疗建议，然后说，如果这看起来像医疗建议，就把它过滤掉。很多公司都有这套东西，问题是它到底管不管用。而坐下来认真想清楚，一个人可以用多少种方式去索取医疗建议、去读学术文献，以及会用什么样的措辞或花招来诱导 AI 在绝对不该给的时候给出医疗建议——这其实是相当琐碎精细的工作。所以这里缺的恰恰是一块专业能力。真正麻烦的是钻进那些角落里去测试它到底管不管用，好让你能直视客户的眼睛——客户可能是银行，也可能是医院——然后说：这个东西对你们是能用的。

现在每个人最关心的问题是，在模型层面——Mythos 和 Fable 确实把这一点推到了台前：除了在智能体层面发生的商业风险以及那类经济安全风险之外，模型还会带来属于国家安全类别的风险。这个问题的形态非常相似：总有某些人要在出事的时候承担责任——在智能体的场景里，通常是企业里的安全负责人；在这个场景里，就是政府。他们未必花了半辈子去思考这里会出现哪些新风险、应该找什么样的数据、该怎么去测试，但他们确实必须确保自己关切的问题被解决。

你有一批前沿 AI 公司，技术功底非常深，它们对风险了解得很多，但从根本上说，它们有不完全说实话的动机。所以政府和实验室之间就存在信任鸿沟。而在其他每一个行业，最终都会出现某个机构夹在中间——一个中立的第三方。没有任何其他行业是允许人们自己审计自己的。所以未来一定会需要一个第三方：一方面能具备实验室那种严谨性去跑前沿的技术评估，另一方面也能“说得出”信任——就像政府信任 PwC 去做财务审计那样，政府知道它们输出的报告是一致的、易读的、基于事实的、值得信赖的。这两件事需要被结合起来。而我们从智能体的工作中得到的经验是：如果你想让这两方之间的沟通顺畅，就必须有一套共同的标准——它必须是公开的，让人们可以去查阅。在每一类风险当中，真正重要的风险是什么？你真正要找的是什么样的威胁模型？针对每一个风险，你都需要明确规定：必须部署哪些护栏，以及需要跑哪些测试来验证这些护栏是否有效。然后你还需要去执行前后一致的技术审计。你不能派一个研究员进去说，去吧，找到什么就带什么回来——你必须能讲清楚你到底做了什么、试了什么、没试什么，以及由此在最后你能做出、又不能做出哪些承诺。

我认为 Fable 正是这个问题的一个直接症状：政府被告知存在某种风险，但政府可能很难评估这个风险到底有多大。于是他们打电话给 Anthropic，而 Anthropic 试图告诉他们：嘿，其实每个模型都能被越狱。这不是你想听到的话，作为政府，这可能很难让人信服。而我们认为，一个中间人是最自然的解决方案。在其他市场你会看到类似的东西：在金融市场，穆迪（Moody’s）进场看一只债券，然后给出一个评级——这是我们找到的证据，这是我们的评级，我们不决定任何人该不该买这只债券，那取决于他们自己的风险偏好，但我们确实提供了一层所有人都可以依赖的共同信息层。政府会指着它说：嘿，养老基金，你们只能投资 AAA 级债券。这意味着政府不需要养几千名金融技术专家，每周重跑一遍预测来判断评级是否正确，他们只需要指向某个中立的第三方。我的假设是：你会看到一个第三方机构出现在政府和实验室之间，它也可能是政府自己建的——比如 Casey 的设立就是为了做这件事，它是 NIST 下属的一个机构，通常负责制定标准。但他们有非常优秀的人才，相较于我们面前这个挑战的规模，预算却小得惊人。

眼下当红的风险是网络安全，因为它非常真实、非常具体。而另一些正在浮现、也相当真实具体的风险，比如儿童安全——它正变得极其重要，同时也具有政治上的重要性。然后还有一些正在沿着管线过来的风险，今天听起来还有点偏推测，但那些花大量时间和模型打交道的人已经看到它们在逼近：比如与生物相关的风险——模型会不会帮助对手制造生物武器，让它变得极其廉价、极其容易获得，从而带来又一次新冠的可能，或者更糟的疫情。新冠并不是被设计出来作恶的，可如果有人真的存心要那么干呢？

还有一点值得指出：智能体在某种意义上是故意做得很窄的——当一家前沿智能体公司放一个和客户交互的聊天按钮时，他们会非常努力地把话题范围收窄。有意思的是，如果你问它“你觉得总统怎么样”，它会直接拒绝回答，这意味着风险领域相对要小一些。而对模型来说，这个范围是无限的。所以现在没有任何一位专家有能力同时胜任地评估这样一些风险：网络攻击的风险；15 岁少年和聊天机器人进行长达一个月的对话、看它是否真的会推荐自杀的风险；以及恐怖分子利用 AI 制造生物武器的风险——风险敞口实在太大了。所以真正的核心挑战变成了：你如何让这些领域专家在一个连贯一致的框架内协同工作，产出一份全世界都可以去查阅的、连贯一致的报告和评级。我们认为可以由一个清算所（clearing house）来整合——并不是说我们声称掌握了智能体安全的全部答案，我们说的是，我们承担起这样的角色：把所有关切都征集出来，并充当那个把它们整合起来的秘书，让标准每个季度同步更新，让产出的审计报告——上百页——统一、干净、清晰，细致到可以满足那些需要做出明确的“做 / 不做”决策的高管所要求的程度。

OWASP 基本上是一个由安全从业者组成的开源社区，他们聚在一起构建框架，来应对最新的安全关切。我们认为他们在创建框架方面非常出色——事实上我们就是他们的合作伙伴，我们有一篇联合文章要发，我们从他们身上学到了很多，他们是一个极好的情报来源。但 OWASP 始终不做的事情，是构建那台运行第三方审计的机器，好让 Cursor 这样的公司、或者 JPMorgan 这样的公司，能找一个第三方来对照这个标准审查他们，并说：嘿，你们通过了标准，这就是那份报告，你们可以用它来建立信任，并提前回应你们的合作伙伴或客户的问题。所以他们从根本上想做的是不一样的事：他们参与了信息收集、情报收集和厘清工作，但把这一切转化为承诺的运营层，不是他们想要做的生意。

在当今的安全领域、网络安全领域，大多数标准是由非营利组织制定的，我认为这是个问题。你必须问自己的是：你如何创造良好的激励，让这些标准保持优秀并且与时俱进？非营利组织往往没有那种逐利的反向激励——它们不会把标准掏空、导致逐底竞争，但它们默认对自己所服务的社群也完全没有响应能力：没有流程，没有自己服务的客户，不会去问“你们想要什么”。而当你看今天人们对安全标准的整体满意度，人们往往就是不太喜欢它们。

你确实能在其他领域看到，营利性标准可以非常好地服务世界：比如 Moody’s——它不是没有缺陷，但它绝对是关键的社会基础设施，并且以惊人的规模在运转；今天你的信用分是 FICO，它也是一门营利的生意。再往历史更远处看，一些碰撞测试标准出自保险公司——是保险公司一起出资、创立了 Insurance Institute for Highway Safety（IIHS），因为他们非常感兴趣的是：我们如何用标准来降低死亡率并省钱。我们的名字其实是在向 Underwriters Laboratory（UL）致敬，它创立的时间正好是电力刚出现的时候：房子开始被烧掉，又是保险公司在买单——也许他们也是好人，但他们的利润激励是：让我们防止房子被烧毁。让我们测试所有的电气产品、灯泡、烤面包机。他们设立了一个实体来制定那些标准，今天 UL 有一个营利实体和一个非营利实体——他们拆分了，因为他们认识到：实际上要服务好客户，你需要一个营利实体。这里的教训是，市场让激励对齐的方式之一，使你既能响应客户、又不会随时间掏空自己的标准，就是把自己与保险公司对齐，因为他们的激励从根本上是好的：既能真正贴近你的客户，又把他们的利益放在心上。这就是我们所处的模式，也是这个名字的由来。

今天保险合同的绝大部分需求，存在于构建 AI 的人和购买 AI 的人之间。人们之所以希望保险公司参与进来，一部分是传统原因——出了事希望得到赔偿。但特别重要的是，保险公司能把信任带入这个等式：如果保险公司愿意出具一份保单，他们就会为损失买单，那等于是在说——我们认为这里确实有风险，但它是可控的。而这与采用它的企业的利益是一致的，所以对市场来说，这是一个非常好的信号。Waymo 当初为了拿到在旧金山运营的第一张许可，所做的其中一件事，就是让很多保险公司堆叠出一份巨额保单，以防万一出事——这不是因为 Google 赔不起，而是因为非常有价值的一点是：让一个第三方去查看那些数据，而他们是受政府信任、受企业信任的稳健保守的人，并且说：嘿，我们看过了，我们实际上愿意把其中一部分承担到自己的资产负债表上。

它长什么样呢？在某种程度上，和其他每份保险合同一样：你规定想覆盖哪些风险事故（perils）、想覆盖多少，上限是多少，覆盖这些要花多少钱。举一个非常具体的例子：ElevenLabs 购买了首份此类 AI 智能体保险保单。他们和一些与政府合作的最大型企业合作，非常希望能做到超出预期、向客户做出承诺，所以他们写了一份保单，只覆盖了客户一直在问的核心关切。而关键的事情，实际上是让 Lloyds of London——世界上最老的保险公司，我们的合作伙伴之一——去看这些数据，并作为和我们并肩的第三方说：嘿，我觉得这里面有些东西值得承保。通常新公司进入保险业的方式是，与保险公司合作，由保险公司承担大部分或全部的财务风险——如果保险有用是因为它带来信任，那你就必须能付得起账单。Lloyds of London 有 400 年历史，他们从来没有不赔付过一次索赔，极其值得信赖。而 Lloyds 靠自己做不到的事情，是弄清楚哪些风险是真实的、我们应该关注什么、需要什么样的技术控制手段以及运行测试——所以他们把 AIUC-1 当作某种承保框架，我们产出一批 eval 结果，这些结果直接输入进去，为定价提供依据。这意味着 ElevenLabs 的客户知道赔付会到位，他们不必去想我们的资产负债表上的现金够不够，他们会看 Lloyd’s。

这完全是一种选项，我能想象在某些世界里这说得通——特别是如果有我们高度确信想要承保的风险，而在位的保险公司太慢，找不到承保意愿，或者干脆就是难以评估。但总的来说，一般而言，你不会想在带来风险资本这件事上和保险公司竞争，原因有两个：一是这从根本上是一场资本成本的游戏，他们的资本成本极低，而创业公司的资本成本总体上是高的；二是你想对冲你的赌注，而同时拥有一个房屋保险、车险的组合会非常有帮助——我们不打算去做车险或房屋保险，所以他们有一些天然优势，这使得合作的可能性大得多。他们大规模地带入资本，我们带来技术。你基本上可以把保险供应链理解为：有人带来资本，有人做定价，有人做分销——通常，你在这里支付保费的某个 X%，在这里支付 Y%，剩下的会流向这里。

从网络保险中得到的最大启示之一——那是一个运转得不太好的市场——是保险和技术专长没有结合在一起。我们的信念是，标准必须先于保险。从根本上说，每个人首先最想要的，无论你是 JPMorgan 的 CISO、Cursor 的 CISO，还是 Lloyds of London 辛迪加的承保人，都是：你首先不希望发生事故，你希望知道风险被妥善管理，只有到那时，保险才开始有意义。所以我们会看到标准生态基本上跑在保险前面。而我们之所以还要做保险——这某种程度上是在验证我们认为整个“承诺—信心”基础设施生态该是什么样子，我们认为把它落地非常有说服力，即便我们认为标准才是那个解锁其余部分的核心枢纽。

和保险公司合作还有一个有意思的收获：他们也会反馈到标准里。如果有他们觉得自己需要、但没有看到的东西，我们也会把这个作为输入纳入标准。保险公司是被激励得最到位的：任何一个特定的 CISO 只知道他自己特定的关切，而保险公司看到的是整个组合的关切，而且往往能直接接触到到底发生了什么、谁有过错——因为这是他们工作的一部分，所以他们其实是这方面极好的情报来源。

这些都是很好的问题，幸运的是，整个保险和法律的历史在某种程度上能帮忙回答其中一些问题。第一点是，人们的保单是有上限的：如果你想索赔 2 亿美元，就必须有人预先为那份保单付了很多钱，才能有 2 亿美元的保障额度。而最终，这件事的运作方式是：你从大量不确定性开始——这不只是保险，比如 Anthropic 能不能用互联网上的书来训练？他们可以去查先例，但最终，这些东西会在法庭上得到解决，你会随着时间的推移把它敲定下来。你从这种模糊的位置出发，这既是为什么保险在早期很难做，也是为什么人们想要保险，因为这种模糊会拖慢采纳。在某种程度上，第一起事故会有助于确立很多这类事情。

而且外面已经发生了不少没有被保险覆盖的事件。我拿那个现在已经有点老的 Air Canada 的例子来说：它幻觉出了一个退款政策，Air Canada 在那个案子里说：嘿，这和我们无关，是这个聊天机器人搞砸了。而法院说：不行，如果你把聊天机器人放在那里和你的客户交互，它们就是在代表你做出具有法律约束力的承诺。这对未来的一切都成了先例：如果有人想再部署那样的聊天机器人，你就不该指望能推卸责任，说“抱歉，我的聊天机器人撒谎了，我是从 OpenAI 买的”——不行，如果你把这个放在你的客户面前，你就是在为它承担责任。所以每一个法庭案件，无论是否涉及保险，都在澄清责任（liability），而责任是保险的基础，这是标准和保险走到一起的另一个原因。

你基本上判断他们是否履行了自己的注意义务（duty of care）。在实践中，他们往往会去看标准。如果有一个被广泛采用的标准说：你必须有一个 grounding 过滤器，或者你必须有一个 jailbreak 过滤器，那么再声称不知道这些东西存在就难多了。因此，制定标准有助于澄清责任——法院往往会指着标准说：这看起来像是最佳实践，就摆在那里，所有人都能看到。所以标准在某种程度上是一种文明基础设施，保险可以在它之上构建，各种承诺也可以在它之上构建。

这里面有几项要求，涉及的是你自己怎么做：你必须说明你的持续监控是怎么做的，至少在做重大发布之前，你自己是怎么做测试的。我们不会每天都跑去对别人发号施令，但至少现在留下了一条线索：如果你搞出了一个大的纰漏，你的客户就可以来找你问——嘿，你答应过我你会自己跑这些 eval 的。而且在很多情况下，大家合并的绝大多数 PR 并不会从根本上改变产品体验，但有些会，而且有时候你并不知道，这也是事实。买软件的时候是可能有 bug 的，这就是其中的一部分。但要看情况：如果你是卖给夫妻店，他们可能不在乎，觉得我就想用你的工具，我愿意自己承担这个风险；但如果你是卖给一家大银行，他们可能会说：抱歉，我们是要对我们的客户做承诺的，如果你不能向我们做出一个我们可以传递下去的承诺，我们就不想跟你合作。那就看你自己了：我在不在乎我的智能体被用作这个国家的关键基础设施？如果在乎，那至少我可以对“我运行的是什么流程”做出承诺，然后每个季度去测一次。

从我们的角度看，大公司在发布 AI 的时候，默认就有一定程度的信任；而如果你是一家刚起步的年轻公司，默认你是没有任何信任可言的，而且你能去获得信任的地方非常少。我们大多数客户在开始跟我们合作之前会做的一件事，就是自己写安全博客文章——这挺好的。但话说回来，谁会相信你说的“我们非常安全”呢？这种东西谁都能写，但要让人相信却非常难。所以我认为，让标准变得更清晰可读，能让小公司更容易证明自己在做该做的事——因为默认的假设是这里是一片蛮荒西部。

拉远来看：眼下这个针对的是智能体，接下来我们会处理模型，再往后，我们会处理机器人——从某种意义上说，Waymo 就是第一个机器人，但问题完全一样：有人会开发出一个机器人，有人会需要一些承诺，而他们会很难做出这些承诺。而当你看着这一切上演时——如果你觉得 Fable 那类担忧已经够糟了，那就看看 Waymo 撞到一只狗的时候会怎么样，人们简直就像疯了一样。那就想象一下，当第一个机器人把一个学步的小孩从厨房餐桌上撞下来的时候，你会看到真正意义上的严格责任。Cruise 被彻底毁掉了，所有许可都没了——所以对于实体 AI，这种严格程度只会一路上涨。

这大概就是大的图景：智能体、模型、机器人。当前这一批智能体已经被这个标准很好地覆盖了，但随着技术的发展、随着智能体的任务视野越来越长，新类型的失效模式会涌现出来，你能不能确保这个标准跟得上是个主要问题。你还会开始看到新的形态，比如今天的世界模型（World Models）基本上还是一个研究性问题，但它同样会带来全新的创造价值的方式，同时也会带来更多没人知道该怎么应对的风险敞口。现在，你会开始看到真正的、不由人类居间协调的智能体与智能体之间的交互，这会产生一堆有意思的问题——你基本上会需要一套新的法律体系。它们彼此之间要怎么建立信任？人类相互交易时，其中一个核心的东西是你知道自己有追索权，你可以起诉对方。那么你要怎么确保任何一个智能体背后都有一张持续存在的资产负债表，这样如果你跟它交易、它坑了你，你知道自己还能把钱拿回来？这些是我们不得不去处理的一些问题，而多智能体系统的技术测试也会很有意思、很复杂。

有一个领域——投保意愿很强，需求很多、供给很少——那就是版权。这里面有几个原因。第一，用受版权保护的材料做过训练的人，几乎总是知道自己做过这件事，所以如果你想为它买保险，这本身可能就是一种信号，说明你可能是一个高风险客户——最想给版权侵权买保险的人，恰恰是最有可能去犯这种事的人，这就像柠檬问题。还有另一面：比如你在用一个开源模型做开发，你不知道它是拿什么训练的，那版权这条链要往下追多远？我要因为 X 公司训练时用了别人的东西而被要求下架我的产品吗？但法不责众，如果人人都这么做——我自己也用过。这是个很难的问题，我没有答案，但你的直觉是对的：今天人们并不认为你去把开源模型的训练数据拆开来逐项检查是一种惯例，很多人都在用这些模型而不做这种检查，这被看作普遍可以接受的做法，因此我们不会去追究这一点——我们也真的做不到，我们不知道训练数据。就实验室而言，他们对这个非常感兴趣，但让实验室想要它的那个原因，也正是让我们这些承保人对此起疑的原因——所以你就有了逆向选择的问题。

很多保险确实会回到微观经济学 101 的实践版本上：这就是为什么你需要把健康保险做成一个资金池——如果你把它做得过于具体，那么只有那些确定会得病的人才会来买保险，是同一个道理。核心问题是信息不对称：买保险的人知道一些保险人不知道的、关于自身风险的信息。所以问题其实又回到了同一个点：如果有某种测试能够揭示底层真实的风险，你就能打破很多这样的信息不对称。如果你能对某人是否患病、或者患病的概率是多少做出保险人信得过的判断，那他们可能就愿意承保；但如果做不到，如果没有某种共同的信息，那么就只有病人自己知道，这样一来它就崩溃了。所以问题又回到了：你要如何在各参与方之间建立可信的信号传递？这也是 Moody’s 存在的全部理由——Moody’s 做的就是可信信号传递，这也正是为什么 Moody’s 必须保持独立：如果 Moody’s 被 JPMorgan 拥有，那 JPMorgan 就不能把它当作一个信号机制来用。标准和认证里很多基础性的东西，本质上就是沟通工具，它就是一个信任缺口。

另一个能打破很多这类问题的方式是透明。如果你在运营方式上是透明的，你就没法那么轻易地耍弄别人了，你会让这种行为的代价高得多，而这会提升信任。这也是为什么这里会有 changelog——每一个小小的改动，你都能回去找到。如果我们把这个标准改得更差，一次更新里改了这么多，大家是看得见的。当你把这一切都公开，你就很难再去耍弄别人，或者至少你会很容易被发现。而且你知道未来版本什么时候会来——这也是一种承诺：如果到 7 月 15 日没交付，你大可以把它攒起来。每当我们兑现这个承诺，我们就存下了一点信任。在创业公司这条线上，一个季度发布一版新标准感觉很容易；但在那些习惯了长达十年周期的企业里，我们经常遭遇的就是难以置信，觉得这根本不可能——然后你给他们看 changelog。

我觉得 mech interp 是一个大头，对它的兴趣很多。大家都会同意，它有很有前景的科学潜力，但我们距离它能做到按需商用还有一段距离。Goodfire 会说它已经是商用的了——总之，我们同意他们的说法，我们认为他们正在做的工作非常了不起。我们还没到可以真的强制要求它的地步，但这是那种你能想象在不久的将来就能做的事：你可以加入一个可选的控制项，如果人们用 mech interp 作为降低风险的手段，至少能因此得到认可。我们不能强制要求它，因为要强制要求我们的客户都变成 Goodfire 是很难的。

这个“认可”有什么用？它是通过与不通过，但它同时也是一份 100 页的审计报告——你会惊讶于有多少安全人员真的会坐下来把这些东西消化掉。我敢向你保证，如果今天有人在用 mech interp，他们一定会给它做一页 slide。但如果有第三方出来说“对，他们有 mech interp”，那就容易得多。而且我认为，如果那个承诺真的兑现了，你能做出的承诺会比用 eval 能做出的更强。

另一件我认为会变得越来越重要的事，就是老派的监控，以及稍微事后一点的监控。你在 eval 身上看到的、正在浮现的一个挑战是：智能体开始意识到自己正在被 eval——就是 eval awareness（评测感知）。这意味着基本上，如果它们知道自己正被观察，它们就不会去做那些它们认为会因此受罚的事。而默认情况下，除非你知道怎么去降低 eval awareness，否则你就应该少信 eval 一点。而最真实的东西之一就是监控，它是真相的来源：你到底有没有给出医疗建议？你多快能知道？你过去做这种事的频率是多少？你检测到的频率是多少？它的侵入性稍强一些，你确实会去看一些客户数据，但我认为随着时间推移它会变得更普遍。

顺便说，你们有没有看到 Anthropic 的那项研究——他们跑了一些关于失准（misalignment）的研究，然后把与 LessWrong 上讨论失准相关的训练数据剔除掉，再跑了一遍同样的测试，失败率下降了。这实际上提供了一些证据，指向它学到了——要么是做这件事的能力，要么是做这件事的倾向。这就是 Waluigi 效应：你越是试图去训练它，你就越创造出它的反面。当你训练某个东西的时候，你同时也训练了它的反面，因为它只是一个比特翻转。

除了 mech interp 之外，还有很多东西只要加进去就有价值：你多快能测出东西、你有没有日志给你这些数值、你会不会看到技术栈的其他部分——比如你用的推理供应商：我是不是在用某个中国模型的原生 API？我是不是通过一个经过认证的供应商在用？我是不是自己在托管？在推理引擎这一侧我在做什么？有这么多层次的东西可以被标准化。而且你会越来越看到，越来越多的大公司在采用智能体平台，在 Google 的 Agent Studio 之类上面进行开发，带来一堆托管式智能体（managed agents）——甚至还有不同的层级，你可以自己托管，或者由 Anthropic 托管，或者 Google 两者都做。这些都只是用来强化你所能做出的安全保证的方式。最基础的企业级安全喜欢把东西托管在自己的本地环境里，因为那给了他们一种很真实的控制感。如果你真的在做企业级销售，你就会开始在这些安全特性上展开竞争——这在 AI 领域也在发生，不出所料。而我们真的看到了 CISO 脑子里那种极大的张力：在 Fortune 1000 里，一方面，你有一个 CEO 在说我们必须采用，否则我们就会变得无足轻重，如果我们不这么做，你就被解雇。我们要为他们解决的一个核心问题，就是把这种抽象的情绪化担忧转化成一个框架——给这份担忧带去清晰性。

核心的一点在于，预测市场依赖的是公开信息，而公开信息并不多——只有掌握内幕的人在两边交易，那是违法的。当然也存在泄露出来的信息。核心的挑战是，你往往掌握的是私密的敏感信息，而你需要围绕它去传递信心和信任。当然，对于某些主张，比如任何模型是否都能被越狱，你可以依赖公开证据，因为会有很多人说，有大量的研究，实际上它们全都可以，所以这个问题能很好地解决。对于“嘿，这个还没发布的新的 Mythos 模型，它的能力到底如何”这类问题，预测市场实际上没什么可说的，因为实际上没有人知道。

而往往最有趣的问题是：比如说，一家银行的安全负责人，你真正想回答的问题是，这个产品、这个智能体会不会做出这件我主要关心的坏事，而且是在我关心的具体场景里？而问题就是，最接近的信息是什么？这些信息可能在任何地方都不存在。预测市场是聚合已有的信息——这些信息可能并不存在，而你想要的又是非常具体的东西，并且你愿意为此付费，这大概就是第三方审计的用武之地。我们同样也不会真的用预测市场去判断上市公司是否在账目上造假，你用的是审计。即便信息可得，那也只是在凭感觉交易。

如果最高层面的目标是加速智能体的安全应用，那完全会有帮助。现在经常发生的一件事是：人们构建智能体，把它带到决策者面前，决策者抛出一大堆他们从未考虑过的安全方面的考量，现在它就不符合规格了，你还得回去补上这些过滤器。所以如果你把这个左移——如果每个人都知道自己要构建到什么规格，每个人都知道评分标准，那就太棒了。你们制定评分标准，我们制定评分标准。我认为有价值的地方在于，如果你能把这个变成培训项目——我们目前没在做那件事，我认为做这件事是有价值的，也有其他人在做。我基本上认为这是好事：如果有更多人知道如何构建安全的智能体，我们就会加速应用，而我们目前还没有做人才培养这一侧的工作，我认为这与我们的使命高度一致。我可以告诉你我为什么没做——我们只有这么多的注意力。

另一个考虑是，它很规定性：没有被纳入的就是你不需要知道的，我就觉得这挺糟的。但你们做的非常有意思、站得住脚的事情，是你们那份有主张的百页报告——讲什么才是重要的。所以这基本上就是一种选择，它能够很好地服务某些受众：如果你要把这些东西部署进银行或者医院，那种边界的清晰性是极其有价值的；也有很多其他场景，采取更实验性、更多放手去试的方式反而是更合适的。而且你还得每隔三个月就把教学大纲重写一遍，烦死了。我们也不认为我们自己有能力去承载那种“什么算安全、什么算不安全”的真正北极星，但我们可以去协调出一个论坛，让你把所有这些都列出来——这在某种程度上是可以众包的。

承诺是什么非常重要。如果承诺是“只要你上过我的课，你就不会……”——你不能做出那样的承诺。你可以做出的承诺是这样的：这里是一些每个人至少应该知道的重要事项，然后剩下的你得自己去补齐，至少承诺的性质变了。我们在我们的标准里有一节是关于：什么是承诺？以及什么不是承诺？因为要保证什么都不出错是不可能的。如果你需要一个保证什么都不出错的承诺，你就没法与前沿 AI 合作，但你可以做出某些声明。

非常近期的话，我们现在已经开始与各家正在起飞的类别里的前沿公司合作，我们会继续这项工作，以确保我们覆盖所有真正起飞的用例。我们看到很多兴趣——一旦市场上第一个这么做了，很多人就想跟进。我们认为基本上 AIUC-1 会走到这样一个节点：所有的 Fortune 1000 都会围绕这个标准来组织它们的风险流程。我们今天还没有 50%，但我认为存在某种可能性：大概到年底，我们的联盟里可能会有 Fortune 500 中 50% 的代表。这是在智能体层。然后模型层会带来的是如今正在浮现出来的、最有可能拖慢 AI 应用的那些担忧，机器人会排在它之后。

我们在全线招聘，go-to-market 和技术人员都在招。在我们技术团队里做得非常好的人，是那些对真正做到全栈感到非常兴奋的人：比如我们刚开始和 Cursor 合作时，我们以前从没做过编码工具，所以要把这套标准拿过来并做延伸、把它充实完整——对于长周期的编码智能体，前沿 evals 应该是什么样？并且把这个问题一路从合作做到发布一个新版本的标准。这是一种真正全栈型、有创业精神的、能把事情从头做到尾的技术人才。难点在于构建一个通用的红队（red teamer）：它横跨从 Harvey 到 Cursor 以及介于两者之间的所有人，既要有一套一致的方法论，也要有一套一致的风险与攻击分类法——我们认为这从根本上来说是做出一致性承诺的最佳方式。JPMorgan 两家都买，他们想要一个框架、一个一致的产出方式。

这个问题里有一些智慧，但其中很有价值的一点是：如果买方一侧的决策者——比如你是一家银行的风险负责人——而你最大的风险并不在编码或者客户支持或者其他最大的两个用例里，而是在别的某个地方，你仍然希望确保这个框架对你手头这个火烧眉毛的问题有话可说，否则你就赢不到他们的信任。现在确实很多火烧眉毛的问题跟应用集中的地方是一致的，所以我们今天并没有覆盖每一个边缘场景，但我们有一套框架，可以把所有这些都加进去：我们有一套全球统一的风险与攻击分类法，它会持续演进——每一次出现一个从未见过的新事件，我们就去更新分类法，把它固化进去。我们不保证在代码和某个小众用例上花相等的时间，我们确实把时间花在人们关心的地方，但拥有一套统一的语言是非常有价值的。

不会，我认为在某个重要的方面是不会的。我认为在实验室之外最后还会存在的生意就是承保。有一件事是实验室永远无法替自己做的：做他们自己的看门狗。实验室其实非常在乎这件事——当我们拥有比我们更聪明的模型时我们该怎么办，然后是上面的一层：比它们更聪明的模型在训练它们。我认为在这些议题上最聪明的一些人就在实验室里工作，所以问题不在于他们是否在乎。问题在于他们都会陷入一场竞赛，在这场竞赛里，他们可能有动力去偷工减料，可能有动力对政府隐瞒信息等等。因此，某种感觉像是永恒的真理的是：你需要一个独立的第三方去检查那些数据，并在这个情况下与政府共享信息。这更像是一个激励问题而不是兴趣问题。我没有听到的是，AGI——无论这个标签意味着什么——并不会带来某种根本性的质变。唯一会让这件事产生质变的，是对某些 AGI 的定义，它会被国有化，它会成为一种对主权的威胁——在那个节点上，也许每家公司都是政府，政府就是每家公司，我很难想象那个世界。

我记得那个场景：Moody’s 的那位女士说，如果我不给你 AAA 评级，你转头就会去 Standard & Poor’s 做。所以实际上，看门狗是一个自然垄断——因为如果看门狗之间存在竞赛的动态，那么看门狗就会互相竞争，把标准压到尽可能低。我们对让保险公司坐到这张桌子旁感到非常兴奋的原因之一，就是保险公司是唯一没有这种动态的一方，因为他们要买单：如果他们不断压低价格，你会撞上那个市场出清点，而这对 Moody’s 并不成立，因为他们给出的建议有偏差时并不直接买单。所以我认为这个平衡因素是相当重要的。而且我认为这也凸显了，没有任何系统是完美的：你需要对 Moody’s 进行监督，你当然也需要对看门狗进行监督。