随着 AI 这种技术, 它已经从那个生成答案的模式，走向了能够自主行动的模式, 那么安全防护这件事儿, 它就不再是只局限在模型本身这个范围内了, 而是必须要把整个系统都要覆盖进去, 而所谓的整个系统, 就是指将那些智能决策变成实际的–的整个过程。
在当下的那个生成式的人工智能, 也就是人工智能的那个时代里头, 大家伙儿关于安全这块儿的争论, 基本上都把注意力集中在了怎么把那模型、提示词还有数据这些东西给保护好上面去了。
但是现在进入到智能体人工智能这个时代, 那安全方面的挑战就多出来了好几个新的层面了, 这主要是因为到了现在这个时候, 人工智能已经是能够自己去使用那些工具了, 也能直接去访问系统了, 还能自己写代码, 并且操作的时候全是用机器的速度在执行！
航班预订, 这本身就是一个典型方面的例子, 在这样的情境中, 生成式人工智能系统这一类的工具, 其功能仅仅局限于向用户提出相关的建议而已, 与之形成对比的是, 智能体系统这一类的平台, 则完全具备另外一种能力, 它们可以做到自行去检索具体的票价信息, 并且有能力调用那些已经保存过的支付资料, 最终由它们自己来代表用户把整个预订操作完成完毕。
在智能体时代, 安全基础这一块内容并没有发生什么改变, 它里头依然还是包含身份识别、最小权限原则、隔离机制、可信执行、内存安全、监测以及韧性设计这些个核心要素的。不过呢, 变化主要就出现在它的运行模式上面了。
因为现在的智能体能够自己主动去采取行动, 还可以动态地选择要做的操作, 并且会横跨不同的软件、基础设施、边缘设备以及物理系统去运行, 所以它们就需要有明确而且可以被强制执行的边界出来, 好把它们能够接触到的范围和可以采取的行动权限给限定住。
仅仅是保护模型已经不够了, 安全防线必须得覆盖住那一段从智能到行动的完整路径。
这就是推动那些智能体人工智能大规模地使用起来的一个关键点, 组织方面必须心里有底, 要确信那些自主的机器系统在任何时候都能够待在规定的界限内部去运行, 并且它们做出来的事能够被追踪得到并且可以追究责任, 而且一旦出现那些不对的行为, 就能够把它控制住不闹出大事, 安全这件事本身并不是直接就能制造出信任来的, 最终的信任到底是靠谁给的还要看普通用户、具体的应用环境还有风险的高低是多少这种种因素决定的, 但是安全这个事可以提供那种可以被核验的界限、可以找到人的问责机制以及让整个系统更抗打击的能力, 而这些东西正是构建起那个信任的最基本的基础。
Arm的执行副总裁, 还有首席商务官, 这个叫Will Abbey的人, 他讲了现在这个行业是怎么朝着智能体AI的方向去变的。而且他还说明了这么一变的话, 会对云端的应用场景产生啥影响, 对边缘计算的应用场景会产生啥影响, 对物理世界里的应用场景也会产生啥影响。
智能体 AI 需要全栈安全防护
根本不存在那种只靠一种安全机制就能把从推理到执行整个过程都保护的住的情况。进入智能体这个年头以后, 安全事情需要多种互补的控制手段来帮忙, 这些手段得覆盖到智能体运行的时候、软件栈部分、主机计算平台这个地方、基础设施那一块, 还有最后做决定要去执行的设备和那些系统。
系统必须能够识别出来, 到底是谁在执行操作。还要依据用户在权限里规定的那些事情来开展活动, 并且要确保那个主体只能够执行得到授权的、被允许的操作行为这一点非常重要。当智能体正在动态地选择下一步应该怎么行动的时候。相关的各种策略都必须始终都能够得到有效的执行这一点不能断档。
同时。整个的操作过程必须具备可观测性这个能力。这样一来就能确保, 那些自主性的、自我主导的行为背后的责任是可以追溯的。如果当异常情况真正出现的时候。系统还需要具备相应的、用来应对的机制, 从而遏制住那些意外发生的、或者未经授权的那些不当行为不扩散。
这些要求背后的那种基础性的架构层面原则, 其实可以说是非常明确的, 那就是那些要做出决策的组件, 他们是不应该同时就拥有只属于自己的那个权限的, 这个权限是用来批准他们的决策到底是不是被准许的, 而模型这一块, 他是主要负责去提出一些行动方面的方案, 至于系统这一块儿, 他是主要负责去进行授权的这个过程, 而且还得确保相关的各种约束条件都能得到相应的执行工作。
大家得把这一原则给弄实了, 别光嘴上说说。具体来说呢, 就是在智能系统和实际执行动作中间的那些个环节上, 全都给我搞好安全防护措施。
先把那个叫做可信执行环境的东西建立起来, 这一点是必须要去做的。
我们需要保护好那条从决策一直到执行的路线, 确保它不会被打乱。
通过一个独立的机制, 去判断某一项特定的操作, 看它到底是不是可以获得准许来进行执行的。
对最终执行那个操作的设备或者系统进行保护。
在这件事上, Arm 几十年来在安全计算这个领域里面所积累下来的东西, 显得特别重要。Arm 提供了基础设施, 它覆盖了诸如信任根、也就是那个英文缩写为 RoT 的部分, 还有安全启动、度量启动、远程认证、隔离机制以及内存安全等多个方面。
与此同时, 它还配套了参考软件、应用程序编程接口, 也就是大家常用的 API, 以及其他生态方面的支持。通过这些措施, 它能够帮助开发者更加便捷地去调用上述提到的各项能力。
这些技术从系统的不同环节来应对智能体 AI 的安全挑战, 安全启动和远程认证有助于验证工作负载和安全控制机制是否在预期的环境中运行, 然而，验证环境只是挑战的一部分, 攻击者仍可能利用智能体运行时、工具宿主或策略执行软件中的漏洞, 绕过安全控制或者触发未授权操作。
ARM这个内存标记扩展, 简单点说就是MTE这种玩意儿, 还有其他的架构级别上的防御机制等等这些东西, 它们能够帮到我们一个很大的忙, 让风险变小一些, 这样一来呢, 在推理过程和执行过程之间, 那些通过软件来实现的连接链条里头所存在的某些内存安全方面的漏洞, 变得更加难以被利用了, 没那么容易被人拿来搞事情了。
Arm 内存标记扩展详解
鉴于智能体持续获得对私有上下文、记忆以及状态的访问权限这一情况, 所以安全机制也必须承担起管理敏感数据发布条件的事情。在那些信任要求变得更高的工作流程之内, 远程证明操作能够先行验证执行环境的可信状况, 随后把受保护好的上下文数据开放给智能体去使用。
针对智能体实施独立安全管控
基础设施安全, 这是智能体时代里面, 另一个很重要的方面。因为智能体的能力在不断地往上增加。它们还具备了可以持续运行的这种本事。所以, 对于基础设施来说, 它不光需要用到计算资源。
这样做的目的, 是用来执行智能体里面的那些工作负载。除此之外, 它还需要用独立的计算资源。这部分的资源是用来干什么的呢? 主要是用来对智能体进行观测。还有管控, 以及约束这些操作都要做。
这种基于_arm_所提供的统一计算基础来实现的_cpu_与_dpu_协同架构, 是上述那个原理的一个很典型的能够实现出来的办法。
这里面具体的情况是这样的, 也就是让_cpu_去负责那些比较核心的任务工作, 比如说是让它在上面运行智能体运行时, 再或者是执行框架这个东西, 还有编排系统也要靠它来跑, 工具调用以及应用程序也都属于它的职责范围, 与此同时呢, _dpu_这边能够为网络功能提供独立的运行环境, 也能为监测服务提供独立的运行环境, 还能为隔离服务提供独立的运行环境, 同样也能给安全方面的服务提供独立的运行环境, 这些都属于基础设施功能的范畴。
Arm 处理器会管理并执行智能体的工作任务, 但是, 使用了 Arm 技术路线的设备控制卡却可以自己单独去监视它们的情况、进行管理操作、把它们和别的部分隔离开来, 并且保护好它们不受到损害。
这一情况进一步地印证了一项原则, 那就是当安全管控机制与受监管的进程相互隔离的时候, 那么管控效力就会得到强化。 最新发布的开放智能体安全平台（Open Agent）这个事实, 展示了这种架构模式到底是如何应用在智能体基础设施上面的。
安全防护必须随行动延伸
伴随着智能体的工作流程, 正在一步一步地朝着更广的范围在扩散, 从原来的数据中心出发, 延伸到了个人电脑那里, 也延伸到了智能手机这边, 还延伸到了边缘设备, 甚至延伸到了物理人工智能系统所在的领域里面去, 所以呢, 安全挑战涵盖的范围, 也就跟着一起变大了, 以后会出现这样的情况, 就是一个智能体, 可能会先在云端利用模型来完成推理任务, 然后再跑到边缘设备上专门去处理那些属于私人的上下文数据, 到最后阶段, 再通过机器人或者工业设备去执行实际的动手操作。
所以, 安全能力的扩大必须沿着两个不同的方向来持续进行下去:
1. 这个计算栈是在每一个系统内部都穿过的。
2. 将覆盖的范围延伸到智能体所涉及到的每一个计算环境之中。
所有的计算环境都会按照同一个核心原则进行运作, 这个原则就是说, 智能体只能访问那些已经获得授权的资源, 并且只能执行那些已经被允许的操作。
但是呢, 这种情况和云计算以及数据中心相比起来的话, 还是有所不一样的。具体的区别在于, 边缘计算的场景还有物理状态下的 AI 系统, 它们面临着一些各自独特的、不同的挑战。
跨边缘、云和物理环境的智能体工作流
消费设备以及摄像头还有机器人或者是汽车还有工业这些设备, 它们并不是像那种云端的虚拟资源一样, 能够非常轻易地去做到隔离。
因为当下的智能决策越来越频繁地被转化成在现实世界里发生的那些实际的物理行动, 所以相关的安全机制不能仅仅停留在软件层面或者通信链路那边, 它也必须一直贯穿到最后去负责执行那些操作的具体设备身上。
这种情况就对设备自身的身份标识提出了更严格的要求，同时还要对通信过程中的认证工作有更高的标准, 对于权限该怎么管理也需要考虑得更周全, 另外在设备侧如何去实际执行那些策略, 以及整个流程是否具备可审计性的特征, 也都成为了需要重点关注的方面, 整体来说就是这些方面的要求变得更多、更严格了。
Arm给AI智能体还有各种不同的异构设备之间提供了一套统一的发现方法以及交互的方法, 这样一来就能够帮助构建出一个连接层, 这个连接层是支持身份认证的, 也是支持权限管理的, 同时还是支持治理机制的。
另外, 随着智能体会越来越多地和物理的设备、还有系统去产生交互, 所以关于智能体的安全这一方面, 就必须得和现在已有的设备的安全, 以及功能安全的体系连接起来。
像身份识别、身份认证、还有授权机制这几件事, 需要把范围延伸得到设备的端上去并且这些东西要和设在设备那边的约束机制、运行时候的限制条件、故障保护机制, 还有为了保护物理系统在运行的时候能够确保安全而设置的那些各类现成的安全机制一起配合着发挥作用。
信息安全机制的作用是去判定某项操作的授权问题, 功能安全机制的作用是去判定该操作能否在既定的安全运行范围之内执行, 二者必须协同起来发挥作用, 这个情况发生在智能代理AI走进物理系统的时候。
围绕智能构建安全体系
自从那个从什么生成式的人工智能往那个智能体人工智能方向去的改变发生以来, AI安全领域里头有一个最基本的假设就被改变了, 在过去那个时间段里, 模型只负责生成相关的信息, 由人类来决定是否要根据这些生成的信息去采取对应的行动, 可到了现在这个情况下, 智能体形式的AI系统已经能够自己主动地去发起各种行动了, 所以对于安全防护这项工作来说, 它必须不仅仅是只为了保护那些模型和数据本身, 还得进一步地扩展到对那个包括了推理步骤以及最终执行步骤在内的全过程进行管控和处理。
这就催生了一种新的 AI 架构模式, 这种模式的特点是, 模型决定要执行什么行动, 然后由一个独立的系统来判定这个行动能不能被批准执行。
因为现在智能体 AI 要从云端扩展到有边缘的地方还有物理系统当中了, 所以每一层技术都在帮忙加强这个职责分离的机制, 这些技术包括了信任根、远程认证、内存安全、独立基础设施管控以及设备身份认证等等。
Arm提供了统一的架构基础以及安全技术, 这样做是为了帮助在整个系统层级把这些边界约束落实到实处, 随着智能体AI获得的自主行动能力和执行能力变得越来越强, 那相应的安全保护也就同步扩展了, 并且能够发挥作用。
– 结束 –
