技术栈 // L1 — L8

智能体程序和真实世界之间的八层系统。

向下浏览这套运行时栈。每一层都是现代智能体背后的系统底座,也是实验室、产品和交付共用的工程分类。

  1. agent.run·run_a8c4f203 · v0.1.0
    步骤 03/12
    agent.ts
    import { agent, plan, call, observe } from "@autogent/runtime";
    
    export const guide = agent("runtime_assistant", {
      steps: [
        plan(({ topic }) => prompt`为 ${topic} 生成技术指南大纲`),
        call.tool("mcp.search.web", { topK: 8 }),
        observe(({ hits }) => evaluate(hits, { rubric: "coverage" })),
      ],
      retries: { maxAttempts: 3, idempotent: true },
    });
    执行图运行中
    重试
    3 · 幂等
    模式
    trace_id
    9f…b1
    step.complete · 计划142ms · 正常
    L1执行模型

    把智能体程序变成可运行单元:进程、图,或 actor。

    定义运行时如何表示一个智能体,以及调度、恢复和审计时最小的执行单元是什么。

  2. autogent.scheduler·连续批处理 · prod-eu-1
    312 / s
    队列 +12
    47
    派发/s +4.1%
    312
    p99 延迟 −6.3%
    1.84s
    作业类型详情tokens等待
    job_3a1f模型gpt-4o · prompt+plan4121.84s
    job_3a20工具mcp.bash · grep12ms
    job_3a21模型claude-3.5 · review21884ms
    job_3a22子智能体runtime_assistant.sub_2146ms
    job_3a23工具mcp.fs.read · /workspace/**188ms
    调度片 18ms · SLO p99 1.9stokens 1.42k/s
    L2调度与派发

    在延迟目标下统一调度模型调用、工具调用和子智能体任务。

    连续批处理、优先级队列和 SLO 感知派发,让 LLM 与工具工作负载可以一起被运营。

  3. autogent.kv-cache·分页 · 4096 页
    热页 87.3%
    KV 缓存页 · 16 × 8 网格冷 ◐ 热
    page_03f1 正在驱逐磁盘
    命中 +0.2%
    87.3%
    未命中 −0.2%
    12.7%
    驱逐/s 0%
    1.4
    策略
    LRU + prefix-share
    在 agent.run · run_a8c4 + sub_2 之间共享
    页大小 16 tok最近驱逐 12:04:04.110Z page_03f1 → 磁盘
    L3记忆与状态

    把 KV 缓存、草稿区和工作记忆当作可分页、可驱逐、可共享的资源。

    把智能体状态作为一等资源管理:KV cache、情节记忆、共享 scratchpad 和跨步骤上下文。

  4. firecracker·sandbox-7e2d · microVM
    已隔离
    [KERN]init guest · cpu=2 mem=512M kernel=lkvm-5.15
    [KERN]drives ro=workspace.img rw=overlay.img
    [KERN]net tap0 · cidr=10.42.0.0/24 · egress=deny
    sandbox-7e2d ready · 412ms
     
    user@autogent:~$ ls /workspace
    research/ notes/ agent.ts
     
    $
    EPERM操作被拒绝
    能力: fs.write 被策略 v0.3 拒绝
    能力: fs.read /workspace/** · http: api.weather.com策略 v0.3
    L4执行环境

    用 microVM 与容器沙箱隔离生成代码、浏览器和 shell。

    通过 Firecracker、gVisor 等隔离层约束代码、浏览器和 shell 工具的权限与资源边界。

  5. capability-broker·mcp · policy v0.3
    3 拒绝 · 12 允许
    能力清单
    1{
    2 "agent": "runtime_assistant",
    3 "capabilities": {
    4 "fs.read": [允许
    5 "/workspace/**",
    6 "/notes/**"
    7 ],
    8 "fs.write": [限定
    9 "/workspace/out/**"
    10 ],
    11 "http": {
    12 "allow": [允许
    13 "api.weather.com",
    14 "*.openai.com"
    15 ]
    16 },
    17 "shell": false,拒绝
    18 "secrets": [
    19 "OPENAI_API_KEY"
    20 ]
    21 },
    22 "policy": "v0.3"
    23}
    工具调用 · 最近 60 秒5 / 142
    12:04:03.918Zmcp.http.get api.weather.com → 200 · 84ms
    12:04:04.001Zmcp.fs.read /workspace/notes.md → 4.2KB · 12ms
    12:04:04.110Zmcp.fs.read /etc/passwd → 已拒绝
    12:04:04.244Zmcp.search.web "agent runtime" → 8 条结果 · 312ms
    12:04:04.398Zpolicy.warn rate(http) 47/min 接近上限 60/min
    代理延迟 p95 1.4ms拒绝率 4.2%
    L5工具与能力

    用带权限边界的工具接口连接智能体与外部世界,不给默认全权访问。

    类型化工具、能力清单和策略代理共同决定智能体能调用什么、何时调用、调用到哪里。

  6. autogent.bus·A2A · v0.3 · TLS
    α ↔ β
    agent_alpha编排
    01计划
    02委派
    03等待
    agent_beta总结
    01接收
    02总结
    03确认
    A2A 帧 · 传输中
    1{
    2 "from": "agent_alpha",
    3 "to": "agent_beta",
    4 "type": "task.delegate",
    5 "trace_id": "9f…b1",
    6 "payload": {
    7 "task": "summarize_guide",
    8 "args": {
    9 "url": "/lab"
    10 },
    11 "deadline_ms": 12000
    12 }
    13}
    编码 protobuf认证 mTLSttl 12s
    帧/s 18.4 · p99 4.1mstrace_id 9f…b1 · seq 42
    L6通信与协作

    智能体之间通过可追踪、可治理的协议传递任务与状态。

    面向多智能体协作的传输协议和协作模式,覆盖进程内、进程间和组织间边界。

  7. autogent.workflow·durable · run_a8c4f203
    已恢复
    运行时间线当前: step.43
    step.40计划142ms
    ckpt_8f3a检查点12ms
    step.41tool.bash218ms
    主机终止
    ckpt_8f4b从此恢复
    step.42tool.fs.read84ms
    step.43llm.completion1840ms
    ckpt_8f4b 恢复
    重放 1.2s · 幂等 ✓
    恢复 −18%
    1.2s
    日志
    142KB
    尝试 正常
    2 / 3
    保证
    幂等恰好一次
    日志页 12 · sha 8f4b…2c确定性重放
    L7持久化与恢复

    崩溃后可恢复,工具调用可幂等,长任务能跨重启继续执行。

    工作流引擎、确定性重放和幂等键,让智能体任务不因为某台机器退出而丢失。

  8. autogent.trace·otel · run_a8c4f203 · trace 9f…b1
    2.14s
    火焰图高亮: llm.completion
    0ms
    546ms
    1091ms
    1637ms
    2183ms
    agent.run
    2140ms
    plan
    142ms
    llm.completion
    1840ms
    tool.bash
    21ms
    mcp.fs.read
    60ms
    trace.flush
    60ms
    llm.completion
    1.84s412 tok$0.0042评估 0.91
    p99 (60次) −6.3%
    1.84s
    评估 +0.04
    0.91
    延迟 · 最近 60 次运行
    最小 1.83中位 1.86最大 1.97
    span 6 · 采样 100% · 成本 $0.0042评估 gpt-4o judge 0.91
    L8观测与评估

    追踪、重放、评估并核算生产环境里的每一步。

    把 OpenTelemetry 级别的 trace、评估与成本核算贯穿整套智能体运行时。

实验室 // 核心指南

一份面向系统建设者的 智能体运行时指南。

技术指南持续更新·2025-11·Autogent Lab

智能体运行时系统:实践指南

Autogent

LLM 驱动的智能体正在从一次性模型调用,变成长时间运行、会使用工具、包含多步骤状态的程序。这带来了一批新的基础设施:token 感知调度器、分页 KV 缓存、分层记忆管理、microVM 沙箱、工具协议、持久执行引擎和标准化遥测。这个指南把这些组件理解为智能体运行时系统的不同层:一个类似传统操作系统加分布式运行时的系统底座,负责把智能体程序可靠、高效、安全地运行在真实硬件和真实时间里。

进入实验室持续更新 · 8 层
LLM 智能体智能体运行时操作系统分布式系统调度KV 缓存

方案 // 产品与本地化交付

两种交付形态,同一套系统底座。

无论你在做面向用户的智能体产品,还是在受监管环境里落地企业运行时,我们都会从智能体背后的八层系统开始。

来自我们的产品线上线 · 付费用户

我们不只做咨询,也亲自上线消费级智能体产品。

三个生产中的 C 端智能体产品,数十万月活用户,以及能证明运行时工作价值的转化数据。页面上的可靠性原语,都来自我们自己运营的系统。

  • 01
    三个生产中的产品

    我们运营自己的消费级智能体产品:付费用户、真实收入、真实值班。这里的运行时工作,就是让它们稳定运行的工作。

  • 02
    高流量,稳定曲线

    每月 1200 万以上会话,LLM p99 延迟低于 1.9 秒,KV 缓存命中率高于 87%。这些不是别人的模拟面板。

  • 03
    可以放进经营看板的转化

    产品组合付费转化率 4.7%,留存曲线趋于稳定,因为智能体真的完成任务,而不只是对话。

  • 04
    人类介入是一等能力

    暂停、审批和人工引导是我们每个产品的基础原语,也是用户愿意把长任务交给智能体的原因。

  • 05
    方法论,不是玄学

    测试线、提示策略和评估流水线都来自我们实际运行的系统,并在第一天转移给企业伙伴。

autogent.guide·prod · session_4f2c · 付费
运行中
A

帮我总结技术指南里的 L4 沙箱部分,重点比较 microVM 和 gVisor。

runtime_assistant步骤 02 / 04

正在读取指南中的 L4 部分 · 比较 Firecracker microVM 与 gVisor 用户态内核的隔离取舍...

mcp.fs.read·12msmcp.search.web·312msllm.completion·1.84s
审批请求: 读取 /workspace/private/notes.md · 范围: 仅本次会话
上下文已加载 · 12 份文档 · 4.2k tokens套餐 · pro · 席位 1,418
上线产品 +1 ytd
03
月活 +38%
240k
月会话 +24%
12.4M
转化率 +1.2pt
4.7%

// 30 天滚动 · autogent 产品组合 · 2026 Q1

面向企业本地化

从工作坊到生产,在你的硬件上运行。

四阶段交付模型,面向受监管和离线环境设计。我们带来方法论,留下你的团队可以拥有和运维的运行时。

预约工作坊
  1. 01

    工作坊

    面向工程团队的智能体训练营。我们把你的业务域映射到八层分类,并形成可执行的 POC 范围。

  2. 02

    咨询

    架构与采购支持:运行时选型、模型策略、隔离模型和治理计划。

  3. 03

    POC

    在你的技术栈上构建端到端薄切片:有沙箱、有观测,并按照验收标准评估。

  4. 04

    交付

    在本地或你的云环境生产上线,包括知识转移、运行手册和 90 天运维陪跑。

工作方式 // 交付原则

为真正需要智能体完成任务的团队而建。

在公开案例和社交渠道正式上线之前,我们先展示更重要的信号:清晰的系统边界、生产环境验证和可转移的工程能力。

01

先生产,后包装

运行时想法会先放进真实用户、真实流量、真实故障和真实支持压力的系统里验证,再交付给伙伴。

02

边界胜过热词

我们明确运行时、工作流引擎和治理系统的边界,确保关键路径可观测、可恢复、可审计。

03

转移能力,而不是制造依赖

每次合作都会留下运行手册、架构决策、评估线和你的团队可以自己运维的运行时。

自带云环境离线交付运维培训

Autogent // 联系实验室

把智能体级可靠性带进你的技术栈。

我们每个季度只与少数团队深度合作,包括实验室合作、产品伙伴关系和本地化交付。工作坊大约每六周开放一轮。

年度工作坊
≈ 12
年度 POC
≈ 8
本地化交付
精选
办公室
阿布扎比
Autogentlab.com // 阿布扎比 · 全球autogent.runtime · v0.1.0 · 2026