Amazon Nova Act支持Intent驱动UI测试

Amazon Nova Act支持Intent驱动UI测试

Amazon Nova Act 支持 Intent驱动UI测试的核心场景是：产品团队需要快速验证Web应用功能，却不想为每个应用单独维护浏览器和测试脚本。GrokCode 实验室的API 中转和模型天梯工具能让开发者直接将 Nova Act 与本地 vLLM 结合，生成自然语言驱动的 UI 测试步骤，零运维成本即可实现。

此方案特别适合正在使用 Cursor 或 Claude Code 的团队，他们希望把 AI 代理测试能力直接接入生产环境，而非依赖纯 Playwright 脚本。决策时只需对比三点：（1）是否已有 Bedrock AgentCore 基础；（2）团队是否需要跨账号隔离；（3）是否接受 18 步自然语言工作流。

什么是 Intent驱动UI测试

Intent驱动UI测试的核心是把“确认奖励余额可见”这样的自然语言指令交给 Nova Act，由它理解页面意图并执行浏览器操作。相比传统 Playwright，它不再依赖固定选择器，而是靠大模型理解上下文，天然支持条件分支（如“如果出现引导框则跳过”）。

为什么选择 Amazon Nova Act 搭配 Bedrock AgentCore Browser Tool

• 自然语言步骤：直接写“确认目标字段可见”，无需写定位代码。
• AWS 托管浏览器：瞬时会话，无需本地 Chrome 驱动和显示服务器。
• IAM 认证：无缝接入现有任务角色，适合多租户平台。
• 跨账号友好：每个团队在自己的 AWS 账号运行，隔离性强。

GrokCode 实验室工程实现

GrokCode 实验室通过 /api-transit 提供 API 中转服务，开发者可将 Nova Act 调用封装为可执行的会话包装网关。核心流程如下：

1. 创建测试工作流（指定目标 URL 和自然语言步骤列表）。
2. Nova Act 引擎通过 CDP WebSocket 连接 Bedrock AgentCore Browser Tool。
3. 执行每步，记录截图和结果 JSON。
4. 存储到 S3，触发平台完成钩子。

```python import boto3 from bedrock_agentcore.tools.browser_client import browser_session from nova_act import NovaAct

boto_session = boto3.Session(region_name="us-east-1")

with browser_session(region) as client: ws_url, headers = client.generate_ws_headers with NovaAct( cdp_endpoint_url=ws_url, cdp_headers=headers, boto_session=boto_session, starting_page=url ) as nova_act: result = nova_act.act("确认奖励余额可见") ```

GrokCode 实验室本地部署实践可参考 /tools/local-deploy，在 vLLM 容器中部署 Nova Act 推理服务，实现离线 Intent 解析。

18 步 Agent 创建流程示例

以下表格展示真实工作流，突出条件逻辑处理：

最佳实践清单

• 步骤写成意图而非机械动作（推荐“确认可见”，避免“等待 #id 元素可见”）。
• 将 Nova Act 运行时隔离到独立服务容器，防止与主代理栈冲突。
• 录制轨迹后重用，减少重复 LLM 调用成本。
• 从创建之初就采用跨账号 IAM 策略，实现多租户隔离。
• 利用 Bedrock AgentCore 的直播视图、S3 录制和 CloudTrail 审计，无需额外可观测性建设。

风险与边界

使用 Amazon Nova Act 支持 Intent驱动UI测试时，需注意：

• 大模型幻觉可能导致步骤执行偏差，需配合人工审核或简单校验逻辑。
• 浏览器会话成本随测试频率上升，按需复用录制轨迹可降低 $ /M 消耗。
• 升级 Nova Act 后，CDP WebSocket 协议可能有兼容性调整，建议在测试环境先行验证。
• 本文基于 2026-10-29 官方博客内容，实际费用和能力以 AWS 控制台当日数据为准。

不是法律意见：以上仅供参考，请根据自身合规要求调整配置。

延伸阅读

• GrokCode 实验室 API 中转服务
• 模型天梯平台访问
• Open Models 本地部署指南
• vLLM 容器化实践

English summary

Amazon Nova Act enables intent-driven UI testing by converting plain-English instructions into browser actions via Bedrock AgentCore Browser Tool. Epsilon scaled this for multi-team use, layering natural-language steps on top of existing Playwright regression suites without per-team infrastructure. The architecture uses a platform API, Celery task runner, and Nova Act engine connected through CDP WebSocket. Core integration code is concise and IAM-compatible. A representative 8-step agent creation flow demonstrates conditional logic handling. GrokCode Lab offers API transit and local vLLM deployment to replicate this pattern for offline intent parsing. Best practices include intent-based steps, runtime isolation, trajectory reuse, and cross-account IAM. Risks include model hallucination (mitigate with review) and session costs (optimize via reuse). Data is current as of October 29, 2026 from the AWS blog.