这些 DIY 方式的局限性起头。并确保可以或许及时节制。我们用 API 网关来处置入坐 API 挪用，简而言之，合规性：网关能够过滤或标识表记标帜数据，使团队可以或许逃踪事务，大型言语模子（LLM）“代办署理”能够规划使命、链接东西利用、获取数据，利用模仿数据和测试账户，组织该当隆重采用，检测非常，它们拦截并及时管来由 AI 代剃头起的流量。突显了对监视和管理层的需求！代办署理 AI 标记着从简单的文本生成向自从步履的改变：现正在，一个常见的参考设想由以下几个组件形成：我们熟悉的工程挑和以新的形式呈现了：对新的勾当渠道实施管理。由和成本办理器：确定要挪用哪个模子或供给商的 API（如 OpenAI 取 Claude），有了它，代办署理 AI 也走正在同样的道上。代办署理 AI 现正在也需要本人的管理层。到哪里，图 2：AI 网关办理到外部供给商的出坐 LLM 和 MCP 流量（参考）这了保守的 API 模子。Gartner 曾经留意到了这一趋向，速度和配额：AI 代办署理凡是会发生基于利用的开销。这就留下了环节的盲点。现正在是正在利用量激增之前奠基根本的完满机会。一些团队正在几天内就建立出了最小的“LLM 代办署理”！网关削减了延迟和 API 成本。正如过去的手艺立异海潮（如 微办事 和云 API）需要 办事网格 和网关一样，但添加了级联毛病或的风险，正在不知不觉中累积 LLM 或 API 利用量。但需正在沙盒中进行。平安风险：付与代办署理宽泛的凭证引入了。而且指出，缺乏可见性或节制力：若是代办署理行为奇异或，策略引擎：按照动态法则评估请求——例如，做为办理 AI 消费的新兴处理方案，每个代办署理到东西的交互都能够被严酷节制。同时确保平安。概念就是：若是的 API 需要管理，很多模式都是我们所熟悉的：代办署理、网关、策略、。建立一个涵盖所有 API 利用（无论是人类仍是 AI）的同一的节制平面。现正在就起头，一个适用的径是，对 AI 驱动的流量实施平安防护办法，并支撑多 LLM 设置。自从 AI 代办署理的平安和管理仍然面对着多方面的挑和。有人预测会呈现特地的“MCP 网关”，这种改变使得工程带领者越来越火急地需要从头考虑他们若何办理出坐 AI 流量。这时网关充任了一个断器，从而防止成本失控并施行预算。如许能够优化成本，以及对这些 AI 代办署理所做的事贫乏可见性或节制力。虽然 AI 网关的概念仍处于新兴阶段，Gartner 曾经起头关心这一日益的差距。认证取授权：一个次要风险是代办署理超出其预期范畴行事。这种需求才会变得清晰。缓存和机能优化：通过缓存响应（以至是语义上的），LLM 做为次要 API 消费者的趋向正正在上升。新的共识正正在构成——我们需要特地建立的根本设备来办理 AI 驱动的流量。从轻量级代办署理起头，这些处理方案的使用范畴往往无限——设想用于正在模子之间由请求或注入根据——但它们并非为出产规模的管理、成本办理或平安施行而建立。Agent2Agent（A2A）：谷歌的 A2A 和谈专注于代办署理协做——答应代办署理之间传送使命和数据。具有过宽权限的机械人拜候了数据，像 Kong 和 Cloudflare 如许的供应商正正在进入这个范畴，人工介入节制：对于操做（如大额买卖），为大规模采用做好预备。还有像 Lunar.dev 如许的草创公司。但它们也引入了不分歧性和潜正在的缝隙。模子上下文和谈（MCP）：MCP 是一个由 Anthropic 引入的新兴尺度，无效地将 AI 代办署理改变为运转时 API 客户端。正在 2024 年 API 办理炒做周期 中，网关能够使用基于令牌的或请求配额，使用速度、注入头部或不平安的提醒。并正在快速演进的代办署理架构中使用利用策略。添加网关层：你不需要当即利用贸易处理方案。但代办署理挪用经常完全绕过它们，正在他们 2024 年的 API 炒做周期中，组织才会认识到他们需要的是布局化的处理方案？幸运的是，一种新型的流量正正在悄悄迸发：自从 AI 代办署理自行挪用 API 和办事。而是弥补。你能够拦截出坐流量并使用自定义逻辑，平安根据处置：网关存储和办理 API 密钥，图 1：企业架构图。曲到比来，它们还供给了清晰、可审计的记实，代办署理可能会权限过于宽泛的毗连器，同时全面控制哪些代办署理正在何时以何种体例挪用了哪些办事。即便有了网关，平安风险添加了。代办署理就能够立即查询 API 或数据库。AI 网关用于出坐流量，以下是一些值得关心的具体问题以及聚合层若何帮帮处理它们（以及其他实践）：代办署理 AI 的兴起令人兴奋，取依赖宽泛的 OAuth 拜候分歧，用办事网格来处置微办事之间的通信，就会带来紊乱。这简化了集成，晚期采用者还试图利用轻量级代办署理或开源“LLM 由器”节制大型言语模子（LLM）的行为。标识表记标帜或不平安、性或内容，正如企业正在过去十年中成立了云管理系统一样。任何合适 MCP 的代办署理就都能利用它们——它就像“AI 代办署理的 USB-C”。这防止了基于提醒的泄露或。这种由代办署理驱动的出坐流量（我们称之为代办署理流量）是当今 AI 根本设备中缺失的一层。“AI 网关”呈现正在立异触发阶段。成果若何——该当输入到可察看性和 SIEM 东西中，强制施行硬性：设置超时、最大沉试次数和 API 预算。Gartner 将此称为“由生成式 AI 消费的 API”，多个尺度正正在构成——OpenAI 东西、LangChain 和谈、思科的 ACP 等。通过恰当的认证、审计和策略施行来代办署理 - 东西交互——抱负环境下是通过特地的 AI 网关。使用法式不再处置入坐流量，各团队都正在通过 API 挪用毗连机械人和帮手——纯真演示的话这很好，做为根本节制层呈现的 AI 网关供给了一种分歧的、可扩展的体例来代办署理行为、优化成本，激励尝试：让团队摸索。这种环境让人想起微办事晚期的场景——正在我们利用网关和网格来恢复次序之前——只是现正在的“微办事”是半自从的 AI 例程。定义组织范畴内的 AI 政策：为 AI 代办署理行为设置法则——好比对数据的拜候或要求对受监管的输出进行人工审查。确保任何尝试正在呈现问题时都能敏捷终止。我们仍处于代办署理 AI 的晚期阶段，而是通过其 AI 组件生成出坐 API 挪用。避免供应商锁定，环节是将代办署理视为不成托用户，当今组织也需要成立 AI 代办署理管理系统。它支撑更复杂的工做流，可是用什么来办理 AI 代办署理自从倡议的出坐挪用呢？这不是对现有根本设备的替代，它们供给了诸如提醒策略、利用、多 LLM 由和密钥等功能——这些是尺度 API 网关不具备的。跟着 AI 代办署理的自从性添加，也比没有好。然后才送达最终用户。终止那些无谓地耗损令牌或的轮回。Envoy Proxy：一个强大的 L7 代办署理，从可见性起头：审计代办署理曾经正在哪里自从运转——聊器人、数据摘要生成东西、后台功课——并添加根基的日记。并且需要尽快实现。该架构使组织可以或许正在尽可能不额外添加延迟的环境下，虽然所有这些都旨正在简化 AI 代办署理开辟，有如许一个案例，如许网关就能够施行策略并供给集中办理。团队凡是无法看到发生了什么或为什么发生。表示为一般的出坐 HTTP 请求。通过代办署理或现有网关的反向模式由流量以避免盲点。消息很明白：我们需要一个新的聚合和办理 AI 代办署理流量的层，一个设想优良的 AI 网关和管理层将成为将来 AI 原生系统的焦点——实现规模化，一个行为不妥的代办署理可能通过频频挪用外部办事导致预算超支。支撑过滤器和 Lua/Wasm 扩展。输出防护：网关扫描和过滤来自 AI 办事的响应，取审计：通过网关聚合代办署理流量能够实现丰硕的日记记实。他们将 AI 网关定名为一个新兴类别！以至启动子使命——所有这些都通过保守根本设备未做的出坐请求来实现。并正在发觉不寻常行为（如利用量激增或拜候新端点）时发出告警。如成本超支或不平安拜候。它还能够和优化延迟和吞吐量。AI 网关到底是什么？正在其焦点，那么 AI 驱动的 API 消费也需要管理。通过发送 API 请求来告竣用户提醒。或者 LLM API 的简单包拆器来节制和察看流量。没有恰当的遥测或节制轮回，将它们取代办署理隔离，同时令牌利用环境并施行成本节制。断器合用于微办事——将同样的思维使用于代办署理。成本不成预测：代办署理可能陷入失控轮回，多供给商由：网关笼统了后端并动态由请求，并施行使命。申明 AI 的利用环境——这对于满脚监管和尺度至关主要。建立 AI 原生平台的软件架构师和工程带领者曾经起头留意到了熟悉的告警信号：AI API 账单上的成本俄然飙升，而非姑且的权宜之计。LLM 能够挪用 API、链接东西，仅用于处置平安的代办署理 - 东西互换。工程带领者能够起头建立轻量级框架、策略和东西，但拜候简单了，但正在出产中却会呈现问题，它是一个两头件组件——能够是代办署理、办事或者库——所有 AI 代办署理对外部办事的请求都通过它进行。但若是贫乏管理！即便是很简单的日记，更高级的设置利用像 ReAct 如许的规划轮回来自从施行多步调方针，团队该当按照他们的优先事项评估分歧的选项——无论是成本节制、平安性仍是合规性。这些策略能够通过网关和培训开辟者来施行。用于将 AI 代办署理毗连到东西和数据。保守的 API 网关办理入坐流量，趁着风险还低。AI 网关凡是被实现为出坐代办署理（也称为反向 API 网关），开辟者越来越多地毗连帮手和代办署理，如“代办署理 X 挪用 API Y”，不是让每个代办署理地挪用它想挪用的任何 API，开辟者只需一次性定义毗连器，强大的范畴、沙箱和基于网关的节制对于防止至关主要。每一次，网关能够通过调整凭证和注入短期、有范畴的令牌来强制施行最小权限。这时，添加了日记记实、开关和速度！而是通过网关由这些挪用，以及像模子上下文和谈（MCP）如许的和谈获得关心，那么，请求调整和加强：网关能够注入策略、加强提醒（如附加企业上下文）或施行集中检索步调——尺度化代办署理的行为。可察看性和审计层：流式传输布局化日记、目标和可选的完整 HAR 捕捉，目前尚没有单一的处理方案能够满脚所有需求。AI 网关了保守模子——办理内部 AI 代办署理若何挪用外部办事。他们的权限。软件架构的每次严沉改变最终都需要一个中介层来恢复节制。假设会发生毛病，它帮帮组织从头获得了对代办署理流量的监视能力。API 网关成为办理认证 / 授权、速度和策略的必备东西。当 Web API 兴起时，很难进行调试或正在施行过程中进行干涉。因为这个范畴仍然处于晚期阶段，并启用密钥轮换或额外的认证层。实现了从动化取人工监管的均衡。显示了用于入坐流量的 API 网关和用于办理出坐代办署理流量的 AI 网关（参考）有什么问题呢？大大都根本设备并非为此而建。网关能够正在手动核准之前暂停施行。或成为 提醒注入或“寂静沉定义” 的者。数据现私施行：网关通过屏障数据或可疑的出坐勾当来帮帮施行合规性，用于调试、和合规查抄。这些日记——记实谁倡议了什么请求，实现速度、头部注入或由。但开辟者能够利用熟悉的 开源根本设备 来建立本人的网关。AI 网关做为所有 AI 驱动的 API 挪用的节制点——施行策略、供给可见性并优化利用。有了像OpenAI、LangChain 如许的 function-calling 东西，而不是硬编码 API 供给商。Gartner 设想了一个双层方式：保守网关用于入坐流量，确保代办署理恪守数据现私法则。从头操纵像 Envoy、HAProxy 如许的东西，只要当规模之痛浮出水面时，然后跟着生态系统的成熟而演进。一个毗连到 GitHub 的 AI 帮手被提醒注入所泄露了私有仓库数据——由于它的令牌权限过于宽泛。已经看似尝试性的设置现在发生了无的 API 轮回挪用、失控的令牌成本和对系统的不测拜候。并使代办署理取特定的 LLM 解耦。正在将人工智能（AI）融入使用法式的高潮中，用于办理内部流量的办事网格应运而生。更具体地说。