这个功能怎么实现

穗玉天涯

能够实时知道组件的实时坐标，不用自己每次写代码，适配一次，或者做成一个库，然后写每个功能实现步骤，

这样让ai能够操作自己写的软件，不用截屏，就能实现模拟键鼠，实现教用户怎么使用软件。

穗玉天涯

005 发表于 2026-9-19 13:34
我记得你。
这个好像有库，但实际上多是自己手写比较好。自己确定比例。 ...

吃个餐睡觉

朕的

并不是所有组件都可以直接通过win api获取，有些是自绘UI界面都是内部“句柄”没有实际win句柄。win句柄的可以通过win api，自绘的就得通过图像识别之类的

穗玉天涯

朕的 发表于 2026-9-20 05:55
并不是所有组件都可以直接通过win api获取，有些是自绘UI界面都是内部“句柄”没有实际win句柄。win句柄的 ...

内置在ui库里就可以了

朕的

穗玉天涯 发表于 2026-9-20 21:46
内置在ui库里就可以了

也就相当于你 自己不获取自己？不是获取的第三方程序？

穗玉天涯

朕的 发表于 2026-9-20 22:17
也就相当于你 自己不获取自己？不是获取的第三方程序？

现在ai模拟键鼠操作其他软件，需要实时截屏，如果软件能主动提供组件坐标，可以节省实时截屏，只需要部分精确截屏就可以了，这个功能封装到ui库里面，不用写代码，就能自动具有这个功能。就好比，火山新用户，不会用火山，火山软件具备这个功能，ai就可以模拟键鼠，教用户操作步骤。

朕的

你软件生成窗口组件坐标数据，告诉AI不就行了