生成式人工智能使得模型成为相关基础设施这一领域中被谈论得最多的焦点所在, 而智能体人工智能则是改变了这种情况的一种存在方式, 当智能体去查找数据并且使用工具, 以及运行代码, 并且协调那些包含多个环节的工作流程时, 那么围绕着模型在运作的那些软件, 就变成和进行推理本身一样重要的事情了。
为了满足那些正在不断变化的基础设施方面的相关的需求, 所以, Arm 这个公司就推出了那个基于 Arm 平台的相关的, 叫做 Arm AGI CPU 的这个产品。而这个产品是专门为了要给智能体的 AI 的相关的计算需求而设计的。
然后, Arm AGI CPU 这个东西的目标是提供一个支持高并发的智能体工作负载的相关的性能。还要提供可扩展性与能效等方面的东西。这些东西涵盖了像编排这样的功能, 还有工具执行这样的环节, 也包括数据检索以及应用服务相关的方面。
在 2026 开放计算全球峰会(OCP )这个场合里面, Arm 这家公司向大家介绍了一种全新的办法, 用来评估智能体 AI 的 CPU , 这件事还得到了富士通()、Meta 以及另一家公司的支持, 另外就是那些第三方搞的验证结果也表明了, Arm AGI CPU 这种芯片的每机架性能表现是非常好的, 最高能够达到 x86 服务器处理器处理能力的两倍以上。
要实现智能体 AI 的大规模部署, 光靠 CPU 的创新是不够的, 还需要一个强大的软件生态系统把这个事情给覆盖住才行, 这个系统得包括智能体框架、编排功能、数据基础设施、网络环境以及应用服务, Arm 公司在过去这些年里头, 跟开源社区、软件开发商还有云服务提供商搞的是相当深入的合作关系, 所以就搭建出了一个非常成熟且是在生产环境里得到过实际验证的软件生态体系, 这就为进入这一个全新的时代提前把基础给垫实了。
如今, 云原生和人工智能软件这些方面, 已经能够直接支持Arm64这个架构了。同时, 基于Arm平台设计的中央处理器, 也已经在全球那些处于领先地位的云平台上, 做到了大规模部署的情况。
依靠着上面这些已经很成熟的软件基础环境, 开发者们可以在使用Arm AGI这类中央处理器的设备上面, 去构建包含智能体功能的人工智能应用。并且, 还能实现大规模的扩展操作。
智能体任务背后的软件
这个软件栈是用来支撑智能体 AI 的。它包含了好几个方面的内容, 比如框架、编排能力、工具怎么执行、记忆功能还有检索服务, 此外也涵盖了模型服务, 以及云原生的基础设施。
下面的这张图把情况给列了出来。这些能力不是凭空出来的, 而是靠一大片的技术生态来支持的。这片生态里面有开源的技术, 也有商业的技术, 具体包括 Redis 、vLLM。
那个智能体的 AI 软件栈, 它把智能体框架给整合上, 还有编排的功能、运行时服务、数据检索这一块, 以及模型服务也给它整合起来, 统一都在一个云原生基础上面, 这样子做, 是为了给软件工程相关的玩意儿提供支持, 也给机器人应用提供支持, 还给自动化相关的应用提供支持。
开发者能够通过 Arm 了解软件可用性、支持的版本以及相关资源, 而且在其中还设有 AI 专类, 这样开发者就可以把这个作为一个起点, 借助他们所熟悉的技术, 在 Arm64 上构建和部署智能体 AI 应用。
不同智能体，不同的基础设施需求
尽管在各种智能体的AI应用方面它们共享同一个通用的软件基础, 但是根据不同的情况, 当执行不同的任务时, 关于基础设施方面的要求就存在很大的差异。
编程智能体这个东西, 它需要频繁地去执行代码, 要去编译软件, 还要去运行测试工作, 所以它对于CPU的性能以及对沙箱环境的要求就变得更加高了一点了;而像企业工作流智能体这种类型的东西, 它是非常高度地依赖于API交互、数据库事务以及编排的;研究型智能体是依赖于高效的搜索、信息检索以及记忆管理的;个人助理这个方向, 它是更注重的交互响应能力方面的;机器人应用则是对仿真及时性以及延迟敏感性的协同提出了更多的一些需求。
因为智能体 AI 会推动云服务以及边缘设备还有物理系统中的计算发展得更好。所以这些工作负载存在着的差异是整体的一个组成部分。而这个整体就是 AI 应用在设计的时候还有在部署的时候发生转变的那部分情况。我们可以去更深入地了解一下这个方面。
对于开发者来说, 了解智能体的执行时间主要是花在了哪些环节上, 这是优化软件栈的关键所在。比方说, 提升编程智能体的沙箱性能, 提高企业工作流中的数据库和API的效率, 还有优化研究型智能体的检索与缓存, 这些措施都有助于提升端到端任务的性能。
这些差异, 也充分说明, 在对于智能体使用的AI基础设施来进行评估的过程当中, 需要去着眼于完整的工作流, 而不能只关注模型推理性能这一方面。
从软件适配迈向性能优化
为了能够应对这些种类非常多的工作负载需求, Arm正在努力去做一件事情, 那就是优化智能体AI软件栈里面那些关键组件的性能, 这个优化的范围是覆盖开源软件的, 也是覆盖商业软件的。
有一个叫做工具的独立测试被执行, 这个测试是在沙箱环境中进行的, 它针对的是Arm AGI CPU, 并且结果还对比了AMD EPYC 9965这一款产品, 数据显示在最坏的情况下, 当创建沙箱时所产生的延迟能够被降低45%, 这说明了对于智能体工具执行而言CPU的性能是至关重要的。
企业在做搜索和检索这件事儿上, 得靠智能体去搞定。因为这些智能体需要能够对那些在企业里头, 不管是成结构的还是不形成结构的数据资料, 都实现一个很快捷的访问过程。为了能支撑起这些类型的计算工作负载状况, 会去借助向量搜索、混合检索以及实时搜索这样一种能力体系。
ARM这家公司最近推出过一个专门测试性能的基准标准数据结果呈现出来的信息显示, 如果在那些基于ARM架构建成的基础设施环境里头, 去部署和运行这样的一些工作负载任务情况的话的话, 能够发现它们在某些性能表现方面是具有一定优势的。
向量数据库和智能体记忆这两个东西之间是有关系的, 因为向量数据库能够支持智能体去检索一些相关的上下文信息, 而且能够在涉及多个步骤的工作流程里面访问那些被持久化保存下来的知识内容, Redis 这种技术呢是可以用来支持向量搜索、起到缓存的作用以及进行智能体状态管理的, 与此同时, Arm 这家公司正在和它的生态合作伙伴一起合作, 目的是为了在 Arm64 这个架构上面针对这些种类的工作负载进行优化工作。
Redis 8.10.1 的向量搜索基准测试显示, AWS 每美元能够完成的上下文获取次数要高于 x86 处理器架构, 其提升幅度处于百分之十六到百分之二十七这个区间之内。
当设备处于正常的负荷状态时, AWS在包含了五十七万份文档的数据集上面展示出百分之十六的成本效益优势。而在处于高负荷状态的情况下, 针对那个包含了三百三十万份文档的数据集来看, 这一优势还会进一步提高, 达到百分之二十七的水平。
模型服务这一块儿的情况, 我们必须要搞清楚的是，关于框架这方面的内容, 它是特别值得关注的重点之一。 Arm这家公司在做的事情里头, 软件优化是其中一块非常大的领域。 具体咋说, 他们已经放出了跟 vLLM 有关的那些给开发者用的材料了。
这些材料里头讲了挺多事儿, 比如说怎么在这类机器上把一个模型给部署好, 这机器的特点是用的是那种叫做 Arm 的架构。 另外还说了怎么去做一些量化的推理工作, 又或者说怎么去把性能调到最优水平。
目的其实是很明确的, 就是想要帮助那些搞开发的人, 能把推理的时候产生的吞吐量大一点, 同时让资源利用的程度变得更高更高效。
现在, 那些新兴的独立的软件提供商, 也就是大家所熟知的 ISV , 正在积极推动相关工作, 目的是为了实现针对异构计算资源而言的智能推理路由与调度。他们当前正与 Arm 公司开展合作, 借此展示他们的 Loom 平台究竟是如何在基于 Arm 架构的那些中央处理器上面去运行人工智能模型的。
智能体 AI 实践：Arm AGI CPU 上的客户服务演示
为了展示智能体 AI 软件生态系统在实际应用中的运作情况, Arm 使用了某些工具和平台, 开发了一款可以在 CPU 上运行的多智能体客户服务应用程序。这款应用程序利用了由 CPU 承载的小语言模型来处理收到的客户请求, 对这些请求进行分类, 然后把它们路由到不同的专用智能体上。
这些专用智能体分别负责会议安排、处理客户投诉、提供产品咨询信息, 以及办理退款手续等等。这些智能体把 CPU 推理、企业数据检索、外部模型 API, 还有一些工具的执行力给综合到了一块儿, 它们能够搞定一个接着一个的多步骤工作流程。
这工作流里面包含了安排会议这种琐事, 也包括了生成那种专门针对个人的产品宣传册这样的事, 甚至还包含通过企业的系统去发起退款处理这样的流程。
这个演示给大家展示了开发者是怎么干的, 他们在基于 Arm 架构的基础设施上面, 把自己平时用得顺手的开源软件组件给整合到一起了, 然后就构建出了那种从头到尾都能用得到的人工智能应用。
客户服务演示视频请查看：Arm 官微
在 Arm 平台上构建并优化智能体 AI
Arm面向广大的开发者朋友们, 提供了许多非常实用的好资源, 这些资源能够切实地帮助大家去好好利用那个已经相当成熟的关于Arm64这一类架构的软件生态系统, 来把他们的智能体类型的AI应用给进行构建、部署以及优化。
开发者能够通过 Arm Paths 来获取实践方面的教程, 并且学习如何来使用 llama.cpp 去构建 AI 智能体, 还学习如何使用和 FAISS 来实现 RAG 应用的操作方法, 同时也学习了如何在基于 Arm 架构的平台上部署 vLLM 模型服务基础设施。
因为这些资源能够给予很大的帮助, 所以可以帮助开发者从软件的适配工作进一步地迈过去, 走向真实世界智能体 AI 应用的构建过程以及性能优化的层面中去。
AI 智能体技能生态系统在不断的壮大, 这让开发者可以用更轻松的方式, 去基于 Arm 架构的基础设施来构建应用, 迁移应用, 以及优化应用。AWS 推出了某个东西, 来帮助开发者使用 AWS。
与此同时, Arm 也通过龙蜥社区贡献出了自己的技能。这些技能里面包括了 Arm、Arm CI 和 Arm Ease。通过这些举措, 把特定平台那边的知识还有优化的相关指导给加到了, 那个使用 AI 来帮助开发的整个工作流程里面去。
Arm正在和开源社区、软件的合作伙伴还有云服务提供商一起合作, 目的是要让智能体的那个AI软件生态系统能够不断地往好的方向发展。
那些做开发的工程师们, 可以前往Arm的这个平台去看一看, 哪些框架和技术是得到支持的, 然后他们可以使用Arm Paths这个方法, 马上就可以开始在Arm64这个平台上面进行代码编写和开发工作。
借助Arm Paths这个工具, 这些开发者们还能够通过那些实际的教程来获取一些实用的操作指导, 以便清楚地了解下面这些内容。
使用 llam.cpp 并且使用 llama-cpp-agent, 来打造人工智能的智能体。
在执行由人工智能所生成的代码的时候, 需要将其放到一个处于隔离状态的特定的环境里面去进行。
利用 这项技术, 并且搭配 FAISS 这个工具, 以此来开发出一个具备检索增强生成能力的系统应用。
需要在基于 Arm 架构的平台上, 来部署 vLLM 这个模型服务的基础设施。
这些资源帮助开发者从基础的软件适配这种层面出发, 逐步进入真实智能体 ai 应用的构建和优化中去。
– 结束 –
