Computer Use 应用 SoM/DOM 还是纯视觉坐标?
题目
Computer Use 应用 SoM/DOM 还是纯视觉坐标?
参考答案
点击展开参考答案
- DOM/Accessibility/SoM 把开放坐标变成元素 ID,标准界面上更准确、可解释;Canvas、WebGL、自绘控件和动态元素可能没有完整结构,此时必须视觉 grounding/坐标兜底。
- 生产应维护混合 action space:优先语义元素,缺失时视觉,必要时 OCR。
- 坐标按截图与执行分辨率映射,动作前后重新观察;结构化树裁剪保留可操作、状态、标签及祖先链。
- 评测标准 Web、Canvas、缩放、遮挡和动态变化。
- 高风险动作不因定位成功就执行,仍需目标/参数确认。