字段大约四十个的网申,交给浏览器 Agent 去填。瞄准控件时为何优先走 DOM / accessibility tree,而不是去猜像素?树涨到数万节点时,丢什么、留什么?
题目
字段大约四十个的网申,交给浏览器 Agent 去填。瞄准控件时为何优先走 DOM / accessibility tree,而不是去猜像素?树涨到数万节点时,丢什么、留什么?
参考答案
点击展开参考答案
- 网页元素通常有运行时引用或稳定选择器,点「证件号输入框」比猜像素更准也更便宜。
- 循环仍是读页面 → 决策 → 用浏览器自动化执行 → 再读。
- 页面过大时丢掉装饰节点、重复列表的中间行和隐藏 DOM,留下可交互控件、标签、校验错误和焦点附近的结构。
- 观察可以是精简 DOM、无障碍树和截图的混合:结构负责「点谁」,截图负责验证码、canvas、纯图按钮。
- 压缩去掉 script/style、折叠导航,长表格只留表头、匹配行和邻域,目标是把观察压到几千 token,而不是整页数万节点。