GeeLark Guía de RPA para Principiantes (4)
Guías de RPA de GeeLark
Guía de RPA para principiantes de GeeLark ( 1 )
Guía de RPA para principiantes de GeeLark ( 2 )
Guía de RPA para principiantes de GeeLark ( 3 )
Objetivos
- Aprender a localizar elementos, por ejemplo, botones específicos, campos de entrada y otros componentes en una página, usando GeeLark RPA.
- Comprender cómo usar diversas acciones de toque y pulsación prolongada para completar interacciones básicas en una página dentro del marco de GeeLark RPA.
- Familiarizarse con la configuración de diferentes opciones de operación en GeeLark RPA y ajustar de manera flexible las plantillas de tareas.
Consejos de estudio
- Esta parte incluye mucho contenido y es muy importante. Es mejor centrarse en aprender una acción a la vez.
- Comience aprendiendo cómo localizar elementos: esto es fundamental para todas las acciones como tocar y escribir.
- Utilice el ejercicio en cada capítulo para practicar de forma práctica. No se apresure a aprender todo de una vez. Tómese su tiempo, practique con paciencia y acepte prueba y error; esta es una excelente manera de adquirir experiencia con GeeLark RPA.
1. Elementos
En este tutorial, usaré principalmente el término “elemento” para describir los componentes de la interfaz de una aplicación. Sin embargo, debe saber que el término “widget” se usa más comúnmente en contextos de programación, y ambos términos comparten el mismo significado. Solo usaré “widget” cuando hable de temas o funciones relacionadas con programación en AutoX.js y GeeLark RPA.
En el diagrama a continuación, verá seis tipos de elementos:
1. Texto: Un widget TextView utilizado para mostrar etiquetas o textos informativos.
2. Imagen: Un widget ImageView utilizado para mostrar imágenes o iconos. 3. Widgets compuestos: Botones que combinan iconos y texto descriptivo.
4. Campo de entrada: Un widget EditText que permite ingresar texto.
5. Botón: Un widget Button que se utiliza generalmente para activar acciones como “Iniciar sesión” o “Enviar”.
A medida que profundice en su comprensión de RPA y analice más interfaces de aplicaciones, encontrará muchos más tipos de widgets además de estos seis. Pero por ahora, comencemos con lo básico.
Al crear plantillas de GeeLark RPA, usamos texto, atributos o coordenadas para localizar elementos:
- Por Texto: Es la forma más sencilla. Funciona encontrando elementos según su texto visible. El texto debe ser único, como “Tienda” o “Seguir”, para que este método funcione.
- Por Atributos: Este método usa atributos del elemento, como un ID o un valor específico, para encontrarlo. Es útil cuando el elemento no tiene texto visible, como un icono.
- Por Coordenadas: Este método encuentra elementos en función de su posición en la pantalla. Funciona en la mayoría de las situaciones y es muy flexible.
2. Atributos del elemento
Encienda su teléfono en la nube, abra TikTok y asegúrese de que AutoX.js esté funcionando en modo ventana flotante. Si no está seguro de cómo configurar AutoX.js, consulte las instrucciones en la parte anterior.
Paso 1: Toque el icono de la ventana flotante de AutoX.js y luego seleccione el botón azul etiquetado “Análisis de diseño”. Luego, elija “Análisis del rango de diseño”.
Aquí, verá que aparecen cuadros verdes en la pantalla, indicando que AutoX.js ha identificado con éxito los elementos en la interfaz.
Paso 2: Toque un elemento, como “Tienda”, y seleccione “Ver información de control” en el menú.
Paso 3: Cada elemento tiene atributos diferentes. Aquí hay algunos comunes y sus descripciones:
- Nombre de clase (className): Indica el tipo o estilo del elemento, como su categoría de control.
- Descripción (desc): Una “etiqueta” o “resumen” breve del elemento. Sin embargo, no todos los elementos tienen una descripción, por lo que el atributo
descpuede estar vacío en algunos casos. - ID completo (fullId): Como un “Carnet de identidad” del elemento. Si el elemento tiene un ID único, este atributo sirve como su identificador, permitiendo que GeeLark RPA lo localice con precisión. Sin embargo, tenga cuidado: a veces, varios elementos en una página pueden compartir el mismo fullId.
- Texto (text): El texto que se muestra en el elemento, comúnmente en botones o etiquetas, como “Iniciar sesión”, “Crear una cuenta nueva” o “Tienda”.
Puede explorar diferentes páginas, tocar varios elementos y verificar sus valores de atributos para entender mejor su funcionamiento.
3. Cómo localizar elementos
3.1 Método basado en texto
Comencemos con un ejemplo sencillo utilizando texto (un atributo) para localizar un elemento. Vuelva a la página principal de TikTok, donde notará que hay aproximadamente tres áreas con texto. Luego, intentaremos hacer clic en los botones en estas áreas para familiarizarnos con cómo funciona el atributo de texto.
Paso 1: Primero, cree una plantilla de GeeLark RPA. Agregue pasos para abrir la aplicación TikTok e incluya un tiempo de espera. (Si aún no está familiarizado con estos pasos, considere comenzar con este tutorial.)
Paso 2: Agregue una acción de “Haz clic en elemento”. Configure el selector en “texto” e ingrese el texto del elemento, como “Tienda”, “Perfil” o “Bandeja de entrada”. Finalmente, haga clic en “Aceptar” para guardar.
Paso 3: Depure la plantilla para ver cómo funciona.
Ejercicio:
Practique haciendo clic en varios elementos de texto en la página principal de TikTok para familiarizarse más con el método de localización basado en texto.
Después de ejecutar la tarea en cada ocasión, restablezca manualmente la interfaz a la página principal de TikTok. Esto asegura que cada prueba comience desde la pantalla inicial, facilitando la observación de cómo ejecuta la tarea la RPA.
3.2 Hacer clic en un elemento
Acabamos de usar la opción “Haz clic en elemento” en GeeLark RPA. Ahora, permítame ofrecer algunas explicaciones sobre esta opción.
Casos de uso:
La opción “Hacer clic en elemento” en GeeLark RPA se usa para simular hacer clic en un elemento específico de la interfaz de usuario dentro de una aplicación, como un botón, enlace o imagen.
No se abrumen todavía con todas las opciones disponibles. En su nivel actual, simplemente concéntrense en aprender cómo seleccionar el selector correcto y completar adecuadamente los valores del atributo.
| Opción | Descripción |
| Selector | fullId: Usa la ID única del elemento para una localización precisa.<br>texto: Localiza elementos en base al texto mostrado, adecuado cuando el texto visible es claro.<br>desc: Localiza elementos en base a su descripción, ideal para controles tipo ícono.<br>className: Localiza por el nombre de clase, solo si es único y en combinación con otros selectores. |
| Condición del selector | Equals: Coincide exactamente con el valor del atributo, recomendado para valores fijos.<br>Contains: Coincide con parte del valor del atributo, ideal para contenido dinámico. |
| Orden del elemento | Valor fijo: Selecciona un elemento específico por su posición en la lista.<br>Intervalo aleatorio: Selecciona aleatoriamente entre un rango de elementos coincidentes. |
| Tiempo de espera | Especifica cuánto tiempo (en milisegundos) esperar mientras busca el elemento. Si la carga es lenta, aumenta este valor (por ejemplo, 5000ms). |
| ¿Hallar elementos invisibles? | Decide si puede interactuar con elementos no visibles en pantalla, como botones ocultos o contenido desplazable.<br>Elige “Sí” para hacer clic en botones que requieren desplazamiento.<br>Elige “No” para solo interactuar con los elementos visibles. |
| Guardar resultados en | Principalmente, registrar si la acción fue exitosa. El resultado se guarda en variable booleana: true: exitoso, false: fallido. |
| Notas | Añade comentarios para documentar el propósito de este paso, facilitando depuración o revisión posterior. |
Probablemente te estarás preguntando: “¿Y qué pasa con los íconos sin texto? ¿Cómo clico en ellos?”
No te preocupes. Eso es porque todavía no aprendes el método basado en atributos. La próxima, te guiaré paso a paso para dominarlo en GeeLark RPA.
3.3 Método basado en atributos
Te enseñaré a usar el Método basado en atributos mediante una plantilla simple en GeeLark RPA.
La tarea es:
- Abrir la app TikTok.
- Esperar unos segundos.
- Dar “Me gusta” al video actual.
Siguiendo este ejemplo práctico, entenderás rápidamente el uso central del método basado en atributos.
Paso 1: Haz clic en el icono flotante de AutoX.js, luego en el botón azul “Análisis de diseño” y selecciona “Análisis del rango de diseño”.
Paso 2: Haz clic en el icono de “Me gusta” y selecciona “Ver información en la jerarquía” en el menú.
En este momento, verás en la pantalla una lista con detalles de los widgets. Además, aparecerá un cuadro rojo alrededor del botón de “Me gusta”. Para aclarar, este cuadro no es algo que haya dibujado yo, sino que AutoX.js lo añade automáticamente. Sirve para resaltar el control que estás inspeccionando. Cualquier widget dentro de este cuadro resaltado es el que estamos enfocados para analizar.
Sé que al principio esto puede parecer algo confuso, así que te explicaré con más detalle para ayudarte.
1. Barras verticales y jerarquía: Las barras muestran la relación jerárquica de los elementos de la interfaz. Cuantas más barras haya, más profundo está el elemento en la estructura. Por ejemplo, el nivel superior es el FrameLayout, y debajo, el elemento hijo LinearLayout.
2. Botón de colapsar/expandir: Usa este botón para mostrar u ocultar los elementos hijos del elemento seleccionado. Así, puedes entender fácilmente cómo se relaciona en la estructura.
3. Caja de resaltado de elemento: Cuando seleccionas un elemento en “Jerarquía del diseño”, una caja roja resalta automáticamente el área correspondiente de ese elemento en la interfaz de la app. Esto muestra exactamente dónde está ese elemento, ayudándote a confirmar si seleccionaste el widget correcto.
Recordatorio amistoso
Al utilizar métodos basados en atributos en GeeLark RPA, a menudo puede encontrar elementos anidados. Si el elemento que está inspeccionando no muestra ningún valor, significa que es posible que no haya seleccionado el elemento correcto. En su lugar, intente usar la jerarquía de diseño. El elemento que está buscando puede estar anidado más profundamente dentro de la estructura.
Paso 3: Desplázate hacia abajo en la pantalla para encontrar la información del widget para el botón «Me gusta». Cuando veas un widget con un color más oscuro que los demás, significa que es el widget seleccionado actualmente, como el que corresponde al icono «Me gusta». Este resaltado le ayuda a localizar rápidamente el widget de destino.
Paso 4: Mantenga presionado el «ImageView» resaltado y seleccione «Ver información de control». En la ventana emergente de propiedades, verás la siguiente información:
- Valor del atributo desc: Like
- Valor del atributo fullId: com.zhiliaoapp.musically:id/cf6 (El valor de fullId puede variar según el dispositivo o versión, así que consulta lo que aparece en tu dispositivo).
Paso 5: Configura el flujo de prueba más simple seleccionando la acción “Hacer clic en elemento”.
Al usar la acción “Hacer clic en elemento” en GeeLark RPA, puedes definir el selector con fullId o desc, e ingresar los valores de atributos que encontraste en AutoX.js.
Consejo: Al hacer clic en un valor de atributo, copiará automáticamente el texto en el siguiente formato: fullId(“com.zhiliaoapp.musically:id/cf6”), className(“android.widget.ImageView”). Solo necesitas completar el valor dentro de las comillas.
Paso 6: No olvides depurar la plantilla y comprobar si funciona correctamente.
Ejercicio
Por favor, crea una plantilla en RPA para hacer clic en el ícono marcado con un cuadro rojo en la imagen de abajo. Así aprenderás a usar los selectores fullId y desc para localizar elementos. Es recomendable hacer clic solo en un ícono a la vez y practicar usando AutoX.js para encontrar el fullId o desc correspondiente del widget.
Asegúrate de usar con frecuencia “Ver en la jerarquía del diseño”. Muchos elementos están anidados, y si notas que muchos valores de atributos están vacíos, probablemente no encontraste el elemento correcto.
Ejemplos de uso de los selectores
Existen dos escenarios comunes para usar el selector className:
1. Valor de atributo único: Cuando el valor de className es único, puedes usarlo directamente para localizar con precisión el control. Por ejemplo, en la imagen siguiente, el className del campo de entrada es “android.widget.EditText”. Desde “EditText”, puedes deducir que es un campo de texto. Como solo hay un campo de entrada en esta pantalla, es correcto usar el selector de clase para localizarlo.
2. Targeting asistido: Combina el selector className con otros para reducir el alcance de búsqueda.
Por ejemplo, localizar un widget con valor de className “com.ui.editText” y un valor de desc “usuario”. Esta combinación permite identificar mejor el widget objetivo.
3.4 Método basado en coordenadas (Clic en coordenadas)
A veces, el método basado en texto o atributos puede fallar al localizar un elemento con precisión. En tales casos, puedes usar coordenadas en pantalla para marcar la ubicación exacta del elemento en GeeLark RPA.
Antes de continuar, primero comprende el sistema de coordenadas de los dispositivos Android. Como muestra el diagrama, los puntos A y B son representados por sus coordenadas (X, Y).
Paso 1: Toca el icono flotante de AutoX.js y selecciona la opción azul “Análisis de diseño”. Luego, escoge “Análisis del rango de diseño”.
Paso 2: Haz clic en el icono de “Like”, después en “Ver información del control” en el menú.
Paso 3: En el atributo bounds, verás el valor (635, 755, 708, 828). Estos representan las coordenadas de la esquina superior izquierda (Punto A) y de la esquina inferior derecha (Punto B).
Paso 4: Configura el flujo de prueba más simple seleccionando la acción “Hacer clic por coordenadas” en el paso 3.
Entonces, ¿cómo debes llenar las coordenadas X e Y para “Clic en coordenadas”? Si quieres que RPA haga clic exactamente en el centro de la imagen (indicado por la flecha azul), necesitas calcular el punto central.
El atributo bounds da las coordenadas de dos esquinas (Punto A y Punto B). Si usas solo las coordenadas del A o B, podrías hacer clic accidentalmente en otros elementos.
De hecho, puedes calcular fácilmente las coordenadas del punto central. Por ejemplo, si la coordenada X de Punto A es 635 y la coordenada X de Punto B es 708, la coordenada X del centro sería: X = (635 + 708) / 2 = 671.5. De forma similar, la coordenada Y sería: Y = (755 + 828) / 2 = 791.5. Como las coordenadas para RPA deben ser enteros, redondearías a X = 671, Y = 791.
Si no quieres hacer cálculos precisos, puedes estimar aproximadamente el punto central. Por ejemplo, X = 655, Y = 800 o X = 660, Y = 792. Siempre que las coordenadas caigan dentro del área del widget objetivo y no hagan clic accidental en otros elementos, basta.
Paso 5: Finalmente, depura la plantilla.
¡Atención!
Debido a variaciones en resoluciones de pantalla en diferentes sistemas de teléfono en la nube, las coordenadas del mismo widget pueden variar entre dispositivos. Por ejemplo, si en tu proceso RPA haces clic en el icono “Me gusta” en Android 10, usar las mismas coordenadas en Android 12 podría hacer clic accidentalmente en el icono “Comentario”.
Para garantizar la estabilidad de tu plantilla, se recomienda:
- Priorizar los selectores basados en texto o atributos siempre que sea posible.
- Si usas coordenadas, prueba las coordenadas en múltiples sistemas en la nube con diferentes versiones para verificar su precisión.
- Añadir un margen de error a las coordenadas para evitar clics accidentales en widgets cercanos.
Una vez que domines los métodos basados en texto, atributos y coordenadas, estará más cómodo usando AutoX.js y construyendo plantillas simples en GeeLark RPA. A partir de ahora, omitiré algunos pasos básicos y me centraré en explicar los casos de uso de diferentes opciones de operación y el objetivo de sus configuraciones. Solo profundizaré en ejemplos cuando alguna opción de operación sea más compleja.
Ahora, a medida que aprendas cada nueva opción de operación, añádela a tu plantilla y pruébala para entender cómo funciona. Esta práctica sin duda mejorará tus habilidades en GeeLark RPA.
4. Pulsación prolongada en elemento
Caso de uso: Se usa para simular una pulsación prolongada en un elemento de la pantalla, generalmente para activar funciones especiales, como abrir un menú o arrastrar un widget.
| Opción | Descripción |
| Selector | fullId: Usa el ID único del elemento para localización precisa.<br>texto: Localiza por texto visible.<br>desc: Localiza por descripción.<br>className: Localiza por nombre de clase, solo si es único y en combinación con otros selectores. |
| Condición del selector | Equals: Coincide exactamente.<br>Contains: Coincide parcialmente. |
| Orden del elemento | Valor fijo: Por posición en la lista.<br>Intervalo aleatorio: Aleatorio en un rango. |
| Tiempo de espera | Tiempo máximo en milisegundos para buscar el elemento. |
| ¿Buscar elementos invisibles? | Decide si puede interactuar con elementos no visibles.<br>Elige “Sí” para hacer clic en botones con desplazamiento.<br>Elige “No” para solo elementos visibles.<br>Por lo general, se hace pulsación prolongada en el contenido de la pantalla actual, así que puedes dejar por defecto en “No”. |
| Guardar resultados en | Para saber si la acción fue exitosa, se guarda en una variable booleana: true si éxito, false si fallo. |
| Notas | Agrega comentarios para documentar propósito o función. |
5. Pulsación prolongada en coordenadas
Similar a “Pulsación prolongada en elemento”, esta opción también se realiza mediante coordenadas. Para cómo rellenar X y Y, lee “3.4 Método basado en coordenadas”.
6. Ingresar contenido
Caso de uso: Se usa para ingresar texto en un campo o cuadro de texto determinado, como un nombre de usuario, contraseña o palabra clave. Con esta función, GeeLark RPA puede completar tareas automáticamente, como rellenar formularios o hacer búsquedas.
| Opción | Descripción |
| Selector | fullId: Usa ID único.<br>texto: Según texto visible.<br>desc: Según descripción.<br>className: En combinación si el valor es único. |
| Condición de selector | Equals: Coincide exactamente<br>Contains: Coincide parcialmente. |
| Orden del contenido | Valor fijo: Según posición.<br>Aleatorio: Selección aleatoria. |
| Tiempo de espera | Máximo en milisegundos para buscar. |
| ¿Buscar elementos invisibles? | Decide si interactúa con elementos no visibles. |
| Notas | Añade comentarios para documentación. |
7. Operación con teclado
Caso de uso: Simula presionar una tecla específica del teclado, como enviar formulario o borrar contenido en un cuadro de texto. Común para acciones rápidas o procesamiento de contenido tras ingresar.
| Opción | Descripción |
| Teclas del teclado | Simula presionar “Enter” o “Delete”. Para confirmar acciones o eliminar contenido en un campo de texto. |
8. Esperar a que aparezca un elemento
Caso de uso: Espera que un elemento específico (como un botón o cuadro de texto) aparezca, asegurando que la página haya cargado completamente antes de continuar en GeeLark RPA.
| Opción | Descripción |
| Selector | Igual que en los casos anteriores, puede ser fullId, text, desc, className.<br>Se puede combinar con condiciones para mayor precisión. |
| Condición del selector | Igual, contiene.<br>Para la coincidencia exacta o parcial. |
| Orden del elemento | Especificación por posición o rango. |
| Tiempo de espera | Maximo en milisegundos. |
| ¿Buscar elementos invisibles? | Igual que antes, decide incluir elementos no visibles o no. |
| Guardar resultados en | Registrar si el elemento aparece con éxito (variable booleana). |
| Notas | Añade comentarios para depuración o revisión. |
El contenido de hoy es bastante extenso, tómate tu tiempo, prueba crear plantillas en GeeLark RPA y verificar si funcionan para tus necesidades empresariales.
Guía de GeeLark RPA para principiantes (1)
Guía de GeeLark RPA para principiantes (2)
Guía de GeeLark RPA para principiantes (3)
Guía de GeeLark RPA para principiantes (5)