首页 » 博客 » 如何用 GeeLark Inspector 查看 Android UI 元素
GeeLark Inspector 在 Android 手机上标出 UI 元素

如何用 GeeLark Inspector 查看 Android UI 元素

更新时间

GeeLark RPA 搭建自动化流程时,很多步骤都需要点击 App 里的按钮、输入框或其他 UI 元素。

为了让 RPA 在运行时找到正确元素,需要先查看元素属性,再用合适的属性设置元素选择器。

本文以 TikTok 为例,说明如何用 GeeLark Inspector 查看 Android UI 元素,并把查到的属性用在 GeeLark RPA 元素选择器中。

什么是 GeeLark Inspector?

GeeLark Inspector 用来查看和分析 Android App 的 UI 元素。它会展示 App 的 UI 层级结构,也能查看 resource ID、text、class 和 content description 等元素属性。

找到目标元素后,把有辨识度的属性写进元素选择器,RPA 就能按这些条件定位按钮。

GeeLark Inspector 展示 Android 应用界面、Like 节点和属性

如何用 GeeLark Inspector 查看 Android UI 元素

下面以 TikTok 为例,分三种情况查看 UI 元素,并根据元素属性设置选择器。

打开 GeeLark Inspector 并加载 UI 元素

GeeLark Inspector 只能在 任务画布流程 中使用,普通的 任务流程 中没有这个功能。

如果已经创建了自定义任务,进入 自定义任务,选中要编辑的任务,再点击 修改流程

GeeLark 自定义任务页面中突出显示修改流程

如果当前使用的是 任务流程 编辑器,需要先切换到 任务画布流程

GeeLark 任务流程编辑器中突出显示切换到任务画布流程的按钮

如果还没有创建过自定义任务,可以点击 创建任务流程,然后选择 创建空白流程

GeeLark 自定义任务页面中突出显示创建空白流程

进入 任务画布流程 后:

1. 点击右上角的 布局查看器

2. 选择一台已经安装目标 App 的云手机。

3. 等待云手机启动,然后打开 App,进入需要编写流程的页面。

4. 在 GeeLark Inspector 中点击 刷新 UI 节点,加载当前页面的 UI 元素。

5. 点击 布局范围分析 之后,当前屏幕上的 UI 元素会被蓝色框标出来。

蓝色框与屏幕上的 UI 元素对齐后,就可以开始查找目标。如果蓝框缺失或错位,先点击 刷新 UI 节点,再重新运行 布局范围分析

GeeLark Inspector 中用蓝色框标出 Android UI 元素

下面这个 Demo 演示了如何打开 GeeLark Inspector。

示例 1:通过文字查找元素

TikTok 页面上有很多带有可见文字的 UI 元素,例如:

  • 纯文字:For You、Shop、Following
  • 图标 + 文字或数字:Home、Friends、1.2M、1,875
TikTok For You 标签页在界面中被突出显示

如果元素本身有可见文字,直接搜索这段文字通常是最快的查找方式。

例如,某个 RPA 步骤需要点击 For You

1. 在 GeeLark Inspector 的搜索框中输入 For You。拼写和大小写要与 App 界面一致。

2. 在 UI 树中找到匹配的 UI 节点。如果暂时没看到,向下滚动;匹配节点常在树的较下方。选中节点后,再查看云手机画面。

3. 高亮框应该正好对应 For You 这个元素。

4. 查看下方的 属性 区域。你可以看到:content-desc: For You

GeeLark Inspector 搜索 For You 元素并显示匹配的 UI 节点

这就是一个明确的定位条件。GeeLark Inspector 里的 content-desc 对应 RPA 元素选择器里的 desc

因此,在“点击元素”这一步中,可以把 selector 设置为:desc → 等于→ For You

RPA 点击元素操作中使用 desc 等于 For You 的选择器

示例 2:查看只有图标的按钮

App 里还有很多不显示文字的 UI 元素,例如:

  • 搜索图标
  • 头像
  • 点赞按钮
  • 评论按钮
  • 收藏按钮
  • 发布按钮

这里用一段小猫视频里的点赞按钮举例。

TikTok 小猫视频中的图标按钮被箭头标出

这类按钮没有可见文字,可以用 布局范围分析 选中它:

1. 点击 布局范围分析。App 页面上的 UI 元素会被蓝色框标出来。

2. 点击 Like 图标。选中后,Like 图标周围会出现红色框。

3. Like 图标对应的 UI 节点会在 UI 树中高亮显示。

4. 查看 属性 区域。这里有两个可用属性:

  • class: android.widget.ImageView
  • content-desc: Like

注意:滚动屏幕、打开新页面或切换 App 页面后,要先点击 刷新 UI 节点。否则,GeeLark Inspector 读取的可能不是当前页面。

GeeLark Inspector 显示 Like 按钮的 class 和 content-desc 属性

5. 点击某个属性值,就可以将其复制到剪贴板。

GeeLark Inspector 中的属性值已复制到剪贴板

接下来回到 RPA 编辑器,在“点击元素”操作的 Element selector 中加入刚刚找到的两个属性:

  • class → 等于 → android.widget.ImageView
  • desc → 等于 → Like

And 组合两个条件。这样,RPA 会同时根据元素类型和描述定位 Like 按钮,比只用一个属性更稳定。

RPA 点击元素选择器组合 class 和 desc 条件定位 Like 按钮

示例 3:寻找更可靠的 UI 节点

第一次选中的节点,不一定最适合用来定位元素。

TikTok 的评论按钮就是一个例子。

TikTok 评论图标在视频界面中被突出显示

先点击 布局范围分析,然后按以下步骤操作:

1. 点击 评论图标。它周围会出现红色框。

2. UI 树会高亮显示评论图标对应的 UI 节点。

3. 查看它的属性。这个节点的属性包括:

  • resource-id: com.zhiliaoapp.musically:id/eb6
  • class: android.widget.ImageView

这些属性目前可以用来定位这个元素,但不一定足够可靠。因为页面上很多 UI 元素的 class 都可能是 android.widget.ImageView,而 resource-id 也可能随着 App 更新发生变化。

GeeLark Inspector 显示评论图标的 resource-id 和 class 属性

这时不要直接使用第一个节点,继续查看它的父节点。

4. 在 UI 树中向上查看父节点,找找是否有更适合用来定位元素的节点。

本例中,上层有一个 Button 节点,它的属性更适合用来设置选择器。点击这个 Button 节点。

5. 这时候,你再看左侧的评论按钮。整个按钮区域都被红色边框圈出来了,说明这个 Button 节点对应的是完整的评论按钮。

6. 这个节点的属性包括:

  • class: android.widget.Button
  • content-desc: Read or add comments. 4,182 comments
GeeLark Inspector 显示评论按钮的父级 Button 节点和属性

这个 Button 节点的属性更有辨识度,更适合用来创建元素选择器。

在元素选择器中加入这两个条件:

  • class → 等于 → android.widget.Button
  • desc → 包含 → Read or add comments.

然后用 And 组合这两个条件。

评论数会随视频变化,但 Read or add comments 这段文字不变。因此,这里用 包含 而不是 等于,只匹配固定文字即可定位评论按钮。

RPA 点击元素选择器使用 Button 类和包含评论文字的 desc 条件

常见问题

元素有可见文字时,可以先用 text 或 content-desc。只有图标的按钮可以检查 class 和 content-desc,再用 And 组合两个条件。关键是选择能区分目标元素的属性,不要只看第一个节点。

同一页面上可能有很多元素共用 android.widget.ImageView 这类 class,resource-id 也可能在 App 更新后变化。如果当前节点不够稳定,向上查看父节点,并选择更有辨识度的属性组合。

在 GeeLark Inspector 中运行布局范围分析,再点击屏幕上的图标。图标周围会出现红框,对应的 UI 节点也会在 UI 树中高亮。然后检查 class、content-desc 等属性。如果页面已变化,要先刷新 UI 节点。