android - 是否可以运行 android 模拟器，获取其状态的图像文件，并使用它从无头 linux 服务器模拟鼠标功能？

Question

如果我在“问题”部分提出的问题无法完成，那么这篇文章的其余部分就没有实际意义了。先看一下，这样你就不会浪费时间阅读我提供的背景，如果事实证明这是不可能的。

问题

我的服务器是运行无头 Ubuntu 的 AWS m4.large。据我所知，它没有 GPU，尽管我过去曾使用 RDP 来做一些需要 GUI 的事情。首先，我有几个关于某些事情是否可能的问题：

• 似乎可以在无头 linux 服务器上运行 android 模拟器，但是尽管没有 GPU，是否可以运行带有图形的应用程序？

• （如果是这样）是否可以从模拟器当前显示的内容中获取图像文件？

• （如果是这样）是否可以基于 X/Y 坐标模拟鼠标功能，尽管它是无头运行的？

到目前为止完成的工作

我目前正在尝试为没有 API 的手机游戏创建一个 API。到目前为止，我有一个用 Python 编写的笨重原型（在我的 Windows PC 上运行），它执行以下操作（当代码启动时，应用程序对“公会”中的可滚动用户列表打开）：

1. 抓取运行游戏的安卓模拟器截图
2. 在图像中搜索某些预定义的“模板”图像（列表中的玩家名称）
3. 如果看到模板，点击它的位置（打开玩家的统计页面）
4. 使用 OCR 读取页面上的信息
5. 返回列表并从第 2 步开始重复
6. 如果没有找到模板，程序会向下滚动，然后从第 2 步开始重复
7. 如果收集了来自预定义用户的所有数据，则程序结束

我的原型问题

• Python 代码必须在模拟器运行时手动运行（并且在应用程序的右侧页面）
• 代码运行时PC无法使用，因为它使用屏幕截图和鼠标功能的图像解析
• 作为“API”不实用

下一步

如果我在“问题”部分提到的事情是可能的，那么其余的应该只是从我的原型中实现代码，并让它按计划重复。

如果有人有想法以更简单的方式完成同样的事情，我绝对愿意接受建议。

谢谢阅读！

标签： androidimage-processingandroid-emulatoremulationheadless