Amazon Nova Act支持Intent驱动UI测试
Epsilon's Agentic Platform team delivers UI testing as a managed, multi-tenant service built on Amazon Nova Act and Amazon Bedrock AgentCore Browser Tool. Tests are written in plai
본문은 SEO 깊이를 위해 주로 중국어입니다. 위는 현지화 요점입니다. 언어 전환·딥링크로 글로벌 탐색하세요.
Amazon Nova Act支持Intent驱动UI测试
Amazon Nova Act 支持 Intent驱动UI测试的核心场景是：产品团队需要快速验证Web应用功能，却不想为每个应用单独维护浏览器和测试脚本。GrokCode 实验室的API 中转和模型天梯工具能让开发者直接将 Nova Act 与本地 vLLM 结合，生成自然语言驱动的 UI 测试步骤，零运维成本即可实现。
此方案特别适合正在使用 Cursor 或 Claude Code 的团队，他们希望把 AI 代理测试能力直接接入生产环境，而非依赖纯 Playwright 脚本。决策时只需对比三点：（1）是否已有 Bedrock AgentCore 基础；（2）团队是否需要跨账号隔离；（3）是否接受 18 步自然语言工作流。
什么是 Intent驱动UI测试
Intent驱动UI测试的核心是把“确认奖励余额可见”这样的自然语言指令交给 Nova Act，由它理解页面意图并执行浏览器操作。相比传统 Playwright，它不再依赖固定选择器，而是靠大模型理解上下文，天然支持条件分支（如“如果出现引导框则跳过”）。
为什么选择 Amazon Nova Act 搭配 Bedrock AgentCore Browser Tool
- 自然语言步骤：直接写“确认目标字段可见”，无需写定位代码。
- AWS 托管浏览器：瞬时会话，无需本地 Chrome 驱动和显示服务器。
- IAM 认证：无缝接入现有任务角色，适合多租户平台。
- 跨账号友好：每个团队在自己的 AWS 账号运行，隔离性强。
GrokCode 实验室工程实现
GrokCode 实验室通过 /api-transit 提供 API 中转服务，开发者可将 Nova Act 调用封装为可执行的会话包装网关。核心流程如下：
- 创建测试工作流（指定目标 URL 和自然语言步骤列表）。
- Nova Act 引擎通过 CDP WebSocket 连接 Bedrock AgentCore Browser Tool。
- 执行每步，记录截图和结果 JSON。
- 存储到 S3，触发平台完成钩子。
```python import boto3 from bedrock_agentcore.tools.browser_client import browser_session from nova_act import NovaAct
boto_session = boto3.Session(region_name="us-east-1")
with browser_session(region) as client: ws_url, headers = client.generate_ws_headers with NovaAct( cdp_endpoint_url=ws_url, cdp_headers=headers, boto_session=boto_session, starting_page=url ) as nova_act: result = nova_act.act("确认奖励余额可见") ```
GrokCode 实验室本地部署实践可参考 /tools/local-deploy，在 vLLM 容器中部署 Nova Act 推理服务，实现离线 Intent 解析。
18 步 Agent 创建流程示例
以下表格展示真实工作流，突出条件逻辑处理：
| 步骤 | 指令 |
|---|---|
| 1 | 输入用户名并点击 Next |
| 2 | 输入密码并点击 Verify |
| 3 | 前往创建 Agent，选择设计新规格卡片 |
| 4 | 如果出现引导框则点击跳过，然后确认页面加载正确 |
| 5 | 填写代理名称和描述字段 |
| 6 | 向下滚动直到可见 Goal Statement 字段，填写内容 |
| 7 | 如果技能搜索框不可见则滚动至可见后搜索并添加技能 |
| 8 | 点击保存，确认成功提示，导航返回并验证新代理出现在列表中 |
最佳实践清单
- 步骤写成意图而非机械动作（推荐“确认可见”，避免“等待 #id 元素可见”）。
- 将 Nova Act 运行时隔离到独立服务容器，防止与主代理栈冲突。
- 录制轨迹后重用，减少重复 LLM 调用成本。
- 从创建之初就采用跨账号 IAM 策略，实现多租户隔离。
- 利用 Bedrock AgentCore 的直播视图、S3 录制和 CloudTrail 审计，无需额外可观测性建设。
风险与边界
使用 Amazon Nova Act 支持 Intent驱动UI测试时，需注意：
- 大模型幻觉可能导致步骤执行偏差，需配合人工审核或简单校验逻辑。
- 浏览器会话成本随测试频率上升，按需复用录制轨迹可降低 $ /M 消耗。
- 升级 Nova Act 后，CDP WebSocket 协议可能有兼容性调整，建议在测试环境先行验证。
- 本文基于 2026-10-29 官方博客内容，实际费用和能力以 AWS 控制台当日数据为准。
不是法律意见：以上仅供参考，请根据自身合规要求调整配置。
延伸阅读
English summary
Amazon Nova Act enables intent-driven UI testing by converting plain-English instructions into browser actions via Bedrock AgentCore Browser Tool. Epsilon scaled this for multi-team use, layering natural-language steps on top of existing Playwright regression suites without per-team infrastructure. The architecture uses a platform API, Celery task runner, and Nova Act engine connected through CDP WebSocket. Core integration code is concise and IAM-compatible. A representative 8-step agent creation flow demonstrates conditional logic handling. GrokCode Lab offers API transit and local vLLM deployment to replicate this pattern for offline intent parsing. Best practices include intent-based steps, runtime isolation, trajectory reuse, and cross-account IAM. Risks include model hallucination (mitigate with review) and session costs (optimize via reuse). Data is current as of October 29, 2026 from the AWS blog.
适用于 GrokCode 倍率榜。信息仅供参考，不构成购买、投资或法律意见。