Browser/GUI Agent 如何避免“点错位置”?
题目
Browser/GUI Agent 如何避免“点错位置”?
参考答案
点击展开参考答案
- 定位应优先使用 DOM、Accessibility Tree、role/name、稳定 ID 和元素关系,视觉坐标只作为 Canvas 等场景的兜底。
- 动作前校验当前窗口、域名或 URL、元素文本、可交互状态、遮挡与关键参数;页面滚动、刷新或布局变化后废弃旧坐标。
- 动态页面应等待明确条件,而不是固定 sleep。
- 动作后重新观察页面并验证预期状态变化,不能把 click 返回成功当作业务成功。
- 支付、发送、删除等高风险操作应展示由可信 UI 读取的真实对象和参数,并要求确认。
- 回归集应覆盖弹窗、滚动、缩放、分辨率、语言、异步加载、遮挡和 Canvas;异常时重新定位,而非盲目重复点击。