老柜面没有可编程接口,要把一笔账过掉,得去点窗体上的键。Computer-Use Agent 走完一圈,把键上写着过账的字认出来常常不是最棘手的那一拍;落点若偏出二十来个像素会引发什么后果?
题目
老柜面没有可编程接口,要把一笔账过掉,得去点窗体上的键。Computer-Use Agent 走完一圈,把键上写着过账的字认出来常常不是最棘手的那一拍;落点若偏出二十来个像素会引发什么后果?
参考答案
点击展开参考答案
- 循环是截屏(有时可加辅助树)→ 视觉语言模型解释界面与目标 → 输出结构化动作(点击坐标、键入、滚轮)→ 在隔离桌面执行 → 再截屏核对。
- 认字只是感知;GUI grounding 要把「点过账」对齐到控件中心。
- 坐标偏约 20 像素可能点到邻接按钮或空白,过账失败甚至点成撤销,而模型仍可能根据下一帧误报成功。
- 和函数调用式 Agent 的差别是没有稳定工具名,状态在像素里。
- 动作空间应小而封闭:
click(x,y)、type、key、scroll、drag,坐标相对截图像素而非物理显示器。