{ "@context": "https://schema.org", "@type": "TechArticle", "headline": "最近一段时间，企业的 AI 安全开始受到关注。", "description": "最近一段时间，企业的 AI 安全开始受到关注。", "datePublished": "2026-09-22T13:14:38.759Z", "dateModified": "2026-09-22T13:14:38.759Z", "mainEntityOfPage": { "@type": "WebPage", "@id": "https://geek.feishu.cn/wiki/Ycu2wsgf9i9qfAkKWWYcpzaznyd?from=from_copylink" }, "publisher": { "@type": "Organization", "name": "极客公园", "url": "https://www.geekpark.net/" }, "keywords": "最近一段时间, 企业的, 安全开始受到关注, 对于企业来说, 作为生产力引入, 最大的挑战不在模型能力上, 在演示环境中, 大模型可以生成报告, 分析数据, 回答专业问题", "articleSection": "Technology"}

最近一段时间，企业的 AI 安全开始受到关注。

对于企业来说，把 AI 作为生产力引入，最大的挑战不在模型能力上。

在演示环境中，大模型可以生成报告、分析数据、回答专业问题；一旦进入理赔、医疗、金融风控等真实业务，问题便迅速复杂起来。企业不仅担心数据在上云和调用模型时泄露，也无法确认云端是否使用了约定的硬件、软件和模型。与此同时，AI 幻觉、错误调用工具、遗漏关键步骤，甚至在复杂任务中反复「打转」，都可能把一次小概率错误放大为业务风险。

在云栖大会期间，蚂蚁密算董事长韦韬将这些问题归结为企业 AI 的「可信」难题。

「企业需要的不是更聪明的 AI，而是可信的 AI。」在他看来，过去两年，不少企业 AI 项目仍停留在试用阶段。通用模型可以掌握公共知识，但要处理一笔理赔、核验一项交易，必须调用企业内部合同、实时记录和业务规则；任务完成之后，还要证明授权没有被突破、关键步骤没有被跳过、结果能够核验和追溯。

这意味着，企业面对的已经不只是传统的数据安全问题。AI 云计算把数据变成了提示词、知识库、上下文、记忆和中间结果，安全边界也从「数据有没有被拿走」，延伸到「计算过程是否按约执行」和「智能体是否可靠完成任务」。

蚂蚁密算给出的第一个答案是密态算力。

其基本思路是将密码学、可信硬件和系统安全结合起来，让企业在不交出数据控制权的情况下使用云端算力、模型和智能体。数据在存储、传输和计算过程中均处于受保护状态，平台管理员或模型服务商无法未经授权接触相关内容。

按照韦韬的介绍，密钥由数据提供方与可信计算系统共同管理，数据及其衍生结果还会保留血缘关系。只有获得数据源方许可，结果才能被进一步使用或输出。

密态计算试图解决的另一个问题，是云服务的「黑箱」。依靠可信芯片的远程度量能力，企业可以核验服务商使用的硬件、软件和模型配置是否符合约定。如果运行环境发生变化，数据便不会被发送。这一能力也可以用于验证模型服务商是否按合同提供了相应模型，而不是在用户不可见的情况下进行模型路由或降低服务规格。

但保证数据安全，并不意味着 AI 就不会犯错。

当智能体开始自主规划、调用工具和操作业务系统，幻觉不再只是生成一句错误答案，还可能变成一次错误操作。韦韬认为，现阶段更需要警惕的并非 AI「自主作恶」，而是低比例错误在大规模任务中不断累积，最终影响整个业务链路。

为此，蚂蚁密算推出了 HOP 可信原生智能体。它将任务拆分为目标、探索、核验和提交等环节：智能体可以在沙箱中探索解决方案，但质检和授权步骤不能绕过，未经核验的结果不能直接进入业务系统。

这种设计试图在两种需求之间取得平衡：既不能把流程写死，让大模型失去推理和探索能力；也不能只用自然语言提出一个模糊目标，任由智能体自行决定所有步骤。通过结构化的任务描述，行业专家也能理解和检查 AI 的执行逻辑，而不必直接阅读模型生成的代码。

在此基础上，蚂蚁密算又通过可信智能 Fabric，将智能体、知识、数据和安全能力组织到同一架构中，并计划通过企业级平台「密算一号」，提供治数、问数、分析建模和行业智能服务。其目标不是交付一个用完即止的 AI 项目，而是把验证过的数据、规则和流程沉淀为可以持续调用的企业能力。

目前，相关产品正在医保问数、团险理赔、医保智审、征信和小微金融等场景推进。与消费级应用相比，这些领域对错误率、数据权限和审计能力更加敏感，也更能检验「可信智能」能否真正进入生产。

当然，技术并不能自动解决所有问题。公共数据如何合规流通、不同机构之间如何建立统一标准，仍是密态计算规模化应用的制约因素。可信架构也无法彻底消灭模型幻觉，行业专家仍需设定业务底线和准入标准。

但它展示了一种新的可能：未来企业购买的或许不只是算力和模型，而是一种可以验证、可以追溯、可以拒绝越权操作的计算服务。当数据能够在保持控制权的前提下参与计算，AI 才可能真正从试验工具变成企业生产系统的一部分。