Guide GeeLark RPA débutant (4) | Éléments et actions

Guides GeeLark RPA

Guide GeeLark RPA pour débutants (1)

Guide GeeLark RPA pour débutants (2)

Guide GeeLark RPA pour débutants (3)

Guide GeeLark RPA pour débutants (5)

Guide GeeLark RPA pour débutants (6)

Objectifs

Apprendre à localiser des éléments, par exemple des boutons précis, des champs de saisie et d’autres composants d’une page avec GeeLark RPA.
Comprendre comment utiliser les actions de clic et d’appui long pour réaliser des interactions de base dans le framework GeeLark RPA.
Se familiariser avec les réglages des différentes options d’opération dans GeeLark RPA et ajuster les modèles de tâches avec souplesse.

Conseils d’apprentissage

Cette partie contient beaucoup d’informations et elle est importante. Il vaut mieux apprendre une action à la fois.
Commencez par apprendre à localiser les éléments : c’est la base de toutes les actions comme cliquer ou saisir du texte.
Utilisez l’exercice de chaque chapitre pour pratiquer. N’essayez pas de tout apprendre d’un seul coup : prenez le temps, testez patiemment et acceptez les essais-erreurs, car c’est une bonne façon de progresser avec GeeLark RPA.

Sommaire

1.Éléments

Dans ce tutoriel, j’utiliserai surtout le terme « élément » pour décrire les composants d’une interface d’application. Sachez toutefois que le terme « widget » est plus fréquent dans les contextes de programmation, et les deux termes désignent ici la même chose. J’utiliserai « widget » uniquement lorsque je parlerai de sujets liés à la programmation ou de fonctions dans AutoX.js et GeeLark RPA.

Dans le schéma ci-dessous, vous verrez six types d’éléments :

1. Texte : un widget TextView utilisé pour afficher des libellés ou du texte informatif.

2. Image : un widget ImageView utilisé pour afficher des images ou des icônes. 3. Widgets composites: des boutons qui combinent des icônes et du texte descriptif.

4.Champ de saisie : un widget EditText qui permet de saisir du texte.

5. Bouton : un widget Button généralement utilisé pour déclencher des actions comme « Login » ou « Submit ».

À mesure que vous approfondirez la RPA et analyserez davantage d’interfaces d’applications, vous rencontrerez beaucoup d’autres types de widgets. Pour l’instant, commençons par les bases.

Lorsque vous créez des modèles GeeLark RPA, vous utilisez le texte, les attributs ou les coordonnées pour localiser les éléments :

Par texte : c’est la méthode la plus simple. Elle consiste à trouver un élément à partir de son texte visible. Le texte doit être unique, comme « Shop » ou « Following », pour que cette méthode fonctionne.
Par attributs : cette méthode utilise les attributs d’un élément, comme un ID ou une valeur précise. Elle est utile lorsque l’élément n’a pas de texte visible, par exemple une icône.
Par coordonnées : cette méthode localise les éléments selon leur position à l’écran. Elle fonctionne dans la plupart des situations et reste très flexible.

2.Attributs des éléments

Démarrez votre téléphone cloud, ouvrez TikTok et vérifiez qu’AutoX.js fonctionne en mode fenêtre flottante. Si vous ne savez pas encore configurer AutoX.js, reportez-vous à la partie précédente.

Étape 1 : touchez l’icône flottante AutoX.js, puis sélectionnez le bouton bleu intitulé « Layout Analysis ». Choisissez ensuite « Layout Range Analysis ».

Vous verrez alors des cadres verts apparaître à l’écran, ce qui indique qu’AutoX.js a bien identifié les éléments de l’interface.

Étape 2 : touchez un élément, par exemple « Shop », puis sélectionnez « View Control Information » dans le menu.

Étape 3 : chaque élément possède différents attributs. Voici quelques attributs courants et leur rôle :

Nom de classe (className) : indique le type ou le style de l’élément, par exemple sa catégorie de contrôle.
Description (desc) : un court « libellé » ou « résumé » de l’élément. Tous les éléments n’ont pas forcément de description, donc l’attribut desc peut parfois être vide.
ID complet (fullId) : c’est comme la carte d’identité de l’élément. Si l’élément possède un ID unique, cet attribut sert d’identifiant et permet à GeeLark RPA de le localiser avec précision. Attention toutefois : plusieurs éléments d’une même page peuvent parfois partager le même fullId.
Texte (text) : le texte affiché sur l’élément, souvent présent sur les boutons ou libellés, comme « Login », « Create New Account » ou « Shop ».

Vous pouvez explorer différentes pages, toucher plusieurs éléments et vérifier leurs valeurs d’attribut pour mieux comprendre leur fonctionnement.

Essayer GeeLark RPA

3. Comment localiser les éléments

3.1 Méthode basée sur le texte

Commençons par un exemple simple : utiliser le texte, qui est un attribut, pour localiser un élément. Revenez à la page d’accueil de TikTok ; vous remarquerez qu’il existe environ trois zones contenant du texte. Nous allons cliquer sur les boutons de ces zones pour comprendre comment fonctionne l’attribut text.

Étape 1 : commencez par créer un modèle GeeLark RPA. Ajoutez des étapes pour ouvrir l’application TikTok et inclure un temps d’attente. Si ces étapes ne vous sont pas encore familières, commencez par ce tutoriel.)

Étape 2 : ajoutez une action « Click element ». Définissez le sélecteur sur « text » et saisissez le texte de l’élément, par exemple « Shop », « Profile » ou « Inbox ». Cliquez enfin sur « OK » pour enregistrer.

Étape 3 : déboguez le modèle pour observer son exécution.

Exercice :

Entraînez-vous à cliquer sur différents éléments textuels de la page d’accueil TikTok afin de mieux maîtriser la localisation basée sur le texte.

Après chaque exécution, remettez manuellement l’interface sur la page d’accueil TikTok. Chaque test repart ainsi du même écran initial, ce qui facilite l’observation de l’exécution RPA.

Essayer gratuitement le téléphone cloud

3.2 Cliquer sur un élément

Nous venons d’utiliser l’option « Click element » dans GeeLark RPA. Voici quelques explications sur cette option.

Cas d’usage :

L’option « Click Element » dans GeeLark RPA sert à simuler un clic sur un élément précis de l’interface d’une application, comme un bouton, un lien ou une image.

Ne vous laissez pas impressionner par toutes les options disponibles. À ce stade, concentrez-vous simplement sur le bon choix du sélecteur et sur la saisie correcte des valeurs d’attribut. Pour l’instant, vous pouvez laisser les autres réglages par défaut. À mesure que vous apprendrez des techniques plus avancées avec GeeLark RPA, vous pourrez personnaliser ces réglages selon vos besoins.

Option	Description
Sélecteur	fullId : utilise l’ID unique de l’élément pour une localisation précise. text : localise les éléments selon le texte affiché, utile pour les éléments avec un texte visible clair. desc : localise les éléments selon leur description, idéal pour les contrôles de type icône. className : localise les éléments par nom de classe. Cela fonctionne seulement si le nom de classe est unique, et s’utilise souvent avec d’autres sélecteurs.
Sélecteur condition	Égal à : correspond exactement à la valeur de l’attribut, adapté aux éléments dont la valeur est fixe. Contient : correspond à une partie de la valeur, adapté aux textes ou descriptions dynamiques.
Ordre de l’élément	Valeur fixe : sélectionne l’élément cible selon sa position dans la liste des éléments correspondants. Intervalle aléatoire : sélectionne aléatoirement un élément dans une plage définie d’éléments correspondants.
Temps d’attente	Définit le temps maximal, en millisecondes, pendant lequel rechercher l’élément cible. Si la page charge lentement, augmentez cette valeur, par exemple 5000 ms.
Rechercher les éléments invisibles	Détermine si l’action peut cibler des éléments non visibles à l’écran, par exemple des éléments masqués ou du contenu nécessitant un défilement. Choisissez « Yes » pour cliquer sur des boutons qui nécessitent un défilement avant d’être visibles. Choisissez « No » pour interagir uniquement avec les éléments actuellement visibles à l’écran.
Enregistrer le résultat dans	L’objectif principal est d’indiquer si le clic a réussi. Le résultat est stocké dans une variable booléenne : true signifie que le clic a réussi, false qu’il a échoué.
Notes	Ajoutez des commentaires pour documenter l’objectif ou la fonction de cette étape, afin de faciliter la relecture ou le débogage.

À ce stade, vous vous demandez peut-être : « Et les icônes sans texte, comment cliquer dessus ? »

Pas d’inquiétude : c’est simplement parce que vous n’avez pas encore appris la méthode de localisation basée sur les attributs. Je vais maintenant vous guider pas à pas pour la maîtriser dans GeeLark RPA.

3.3 Méthode basée sur les attributs

Je vais vous montrer comment utiliser la méthode basée sur les attributs à travers un modèle RPA simple dans GeeLark RPA.

La tâche consiste à :

Ouvrir l’application TikTok.
Attendre quelques secondes.
Aimer la vidéo en cours.

Avec cet exemple pratique, vous comprendrez facilement l’usage principal de la méthode basée sur les attributs.

Étape 1 : cliquez sur l’icône flottante AutoX.js, puis sur le bouton bleu « Layout analysis » et sélectionnez « Layout Range analysis ».

Étape 2 : cliquez sur l’icône « Like » puis choisissez « View in layout hierarchy » dans le menu.

Vous verrez alors une liste de détails des widgets à l’écran. Un cadre rouge apparaîtra aussi autour du bouton « Like ». Ce cadre n’est pas ajouté manuellement : AutoX.js l’affiche automatiquement pour mettre en évidence le contrôle que vous examinez. Les widgets situés dans ce cadre rouge sont ceux que nous analysons.

Cet écran peut sembler déroutant la première fois ; voici donc quelques précisions.

1. Barres verticales et hiérarchie les barres verticales représentent la relation hiérarchique entre les éléments de l’interface. Chaque barre supplémentaire indique que l’élément est imbriqué plus profondément. Par exemple, au niveau supérieur, vous trouverez FrameLayout, puis en dessous son élément enfant LinearLayout.

2. Bouton réduire/développer utilisez le bouton réduire ou développer pour afficher ou masquer les éléments enfants de l’élément sélectionné. Cela aide à comprendre rapidement les relations dans la hiérarchie.

3. Cadre de mise en évidence lorsque vous sélectionnez un élément dans « Layout hierarchy », un cadre rouge met automatiquement en évidence la zone correspondante dans l’interface réelle de l’application. Vous voyez ainsi l’emplacement exact de l’élément sélectionné et pouvez confirmer rapidement que vous avez choisi le bon widget.

Rappel utile

Lorsque vous utilisez les méthodes basées sur les attributs dans GeeLark RPA, vous rencontrerez souvent des éléments imbriqués. Si l’élément inspecté n’affiche aucune valeur, vous n’avez peut-être pas sélectionné le bon élément. Essayez plutôt la vue Layout Hierarchy : l’élément recherché peut se trouver plus profondément dans la structure.

Étape 3 : faites défiler l’écran pour trouver les informations du widget correspondant au bouton « Like ». Lorsqu’un widget apparaît plus sombre que les autres, cela signifie qu’il est sélectionné, comme celui lié à l’icône « Like ». Cette mise en évidence vous aide à localiser rapidement le widget cible.

Étape 4 : effectuez un appui long sur « ImageView » mis en évidence, puis sélectionnez “View control information”. Dans la fenêtre des propriétés, vous verrez les informations suivantes :

desc valeur de l’attribut : Like
fullId valeur de l’attribut : com.zhiliaoapp.musically:id/cf6. Remarque : la valeur de fullId peut varier selon l’appareil ou la version ; utilisez donc la valeur affichée sur votre propre appareil.

Étape 5 : configurez le flux de test le plus simple en sélectionnant l’action « Click element ».

Lorsque vous utilisez l’action « Click element » dans GeeLark RPA, vous pouvez définir le sélecteur sur fullId ou desc, puis saisir les valeurs d’attribut trouvées dans AutoX.js.

Conseil : lorsque vous cliquez sur une valeur d’attribut, le texte est automatiquement copié au format suivant : fullId(« com.zhiliaoapp.musically:id/cf6 »), className(« android.widget.ImageView »). Il suffit de renseigner la valeur située entre les guillemets.

Étape 6 : n’oubliez pas de déboguer le modèle et de vérifier qu’il s’exécute correctement.

Exercice

Créez un modèle RPA qui clique sur l’icône encadrée en rouge dans l’image ci-dessous. Avec ce modèle, vous apprendrez à utiliser les sélecteurs fullId et desc pour localiser des éléments. Il est recommandé de cliquer sur une seule icône à la fois et de vous entraîner avec AutoX.js pour trouver le fullId ou le desc correspondant au widget.

Pensez à utiliser « View in layout hierarchy » régulièrement. Beaucoup d’éléments sont imbriqués ; si de nombreuses valeurs d’attribut sont vides, vous n’avez probablement pas encore trouvé le bon élément.

Démarrer votre essai gratuit GeeLark

Sélecteur : exemples d’utilisation

Il existe deux scénarios fréquents pour utiliser le sélecteur className :

1. Valeur d’attribut unique : lorsque la valeur de className est unique, vous pouvez l’utiliser directement pour localiser précisément le contrôle. Par exemple, dans le cas montré ci-dessous, le className du champ de saisie est « android.widget.EditText ». Le terme « EditText » indique qu’il s’agit d’un champ de texte. Comme il n’y a qu’un seul champ de saisie sur cet écran, le sélecteur de classe convient.

Ciblage assisté : combinez le sélecteur className avec d’autres sélecteurs pour réduire le périmètre de recherche.

Par exemple, localisez un widget dont la valeur className est com.ui.editText et dont la valeur desc est username. Cette combinaison permet d’identifier le widget cible plus précisément.

3.4 Méthode basée sur les coordonnées

Parfois, les méthodes basées sur le texte ou les attributs ne localisent pas correctement un élément. Dans ce cas, vous pouvez utiliser les coordonnées de l’écran pour pointer l’emplacement exact dans GeeLark RPA.

Avant de continuer, voyons d’abord le système de coordonnées des appareils Android. Comme le montre le schéma, les points A et B sont représentés par leurs coordonnées (X, Y).

Étape 1 : touchez l’icône flottante AutoX.js, puis sélectionnez l’option bleue « Layout analysis ». Choisissez ensuite « Layout range analysis ».

Étape 2 : cliquez sur l’icône « Like », puis sélectionnez “View control information” dans le menu.

Étape 3 : dans l’attribut bounds, vous verrez (635, 755, 708, 828). Ces valeurs représentent les coordonnées de l’angle supérieur gauche (point A) et de l’angle inférieur droit (point B) de l’élément sélectionné.

Étape 4 : configurez le flux de test le plus simple en sélectionnant l’action « Click by Coordinates » à l’étape 3.

Comment renseigner les coordonnées X et Y pour « Click on coordinates » ? Si nous voulons que la RPA clique précisément au centre de l’image, indiqué par la flèche bleue, nous devons calculer le point central.

L’attribut bounds fournit les coordonnées de deux coins, le point A et le point B. Si vous utilisez directement les coordonnées de A ou de B, vous risquez de cliquer accidentellement sur un autre élément.

Vous pouvez calculer facilement les coordonnées du centre. Par exemple, si la coordonnée X du point A est 635 et celle du point B est 708, la coordonnée X du centre sera X = (635 + 708) / 2 = 671.5. De la même manière, la coordonnée Y est Y = (755 + 828) / 2 = 791.5. Comme les coordonnées RPA doivent être des nombres entiers, vous pouvez arrondir à X = 671, Y = 791.

Si vous ne souhaitez pas faire un calcul précis, vous pouvez estimer approximativement le centre, par exemple X = 655, Y = 800 ou X = 660, Y = 792. Tant que les coordonnées restent dans la zone du widget cible et ne risquent pas de toucher un autre élément, cela suffit.

Étape 5 : enfin, déboguez le modèle.

Attention !

Les résolutions d’écran varient selon les systèmes de téléphones cloud ; les coordonnées d’un même widget peuvent donc différer d’un appareil à l’autre. Par exemple, si votre processus RPA clique sur l’icône « Like » sous Android 10, les mêmes coordonnées sous Android 12 peuvent toucher par erreur l’icône « Comment ».

Pour améliorer la stabilité de votre modèle, il est recommandé de :

prioriser les sélecteurs basés sur le texte ou les attributs quand c’est possible ;
tester les coordonnées sur plusieurs systèmes de téléphones cloud et différentes versions si vous utilisez le ciblage par coordonnées ;
prévoir une marge d’erreur pour éviter les clics accidentels sur des widgets proches.

Une fois les méthodes basées sur le texte, les attributs et les coordonnées maîtrisées, vous serez plus à l’aise avec AutoX.js et la création de modèles RPA simples dans GeeLark RPA. À partir de maintenant, je passerai plus rapidement sur certaines étapes de base et me concentrerai sur les cas d’usage des différentes options d’opération et sur le rôle de leurs réglages. J’entrerai davantage dans le détail uniquement lorsque l’option est plus complexe.

Ensuite, à chaque nouvelle option d’opération, ajoutez-la à votre modèle et entraînez-vous pour comprendre son fonctionnement. Cette pratique améliorera nettement vos compétences GeeLark RPA.

4. Appui long sur un élément

Cas d’usage : cette option simule un appui long sur un élément de l’écran, généralement pour déclencher des fonctions spéciales comme ouvrir un menu ou faire glisser un widget.

Option	Description
Sélecteur	fullId : utilise l’ID unique de l’élément pour une localisation précise. text : localise les éléments selon le texte affiché, utile pour les éléments avec un texte visible clair. desc : localise les éléments selon leur description, idéal pour les contrôles de type icône. className : localise les éléments par nom de classe. Cela fonctionne seulement si le nom de classe est unique, et s’utilise souvent avec d’autres sélecteurs.
Condition du sélecteur	Égal à : correspond exactement à la valeur de l’attribut, adapté aux éléments dont la valeur est fixe. Contient : correspond à une partie de la valeur, adapté aux textes ou descriptions dynamiques.
Ordre de l’élément	Valeur fixe : sélectionne l’élément cible selon sa position dans la liste des éléments correspondants. Intervalle aléatoire : sélectionne aléatoirement un élément dans une plage définie d’éléments correspondants.
Temps d’attente	Définit le temps maximal, en millisecondes, pendant lequel rechercher l’élément cible. Si la page charge lentement, augmentez cette valeur, par exemple 5000 ms.
Rechercher les éléments invisibles	Détermine si l’action peut cibler des éléments non visibles à l’écran, par exemple des éléments masqués ou du contenu nécessitant un défilement. Choisissez « Yes » pour cliquer sur des boutons qui nécessitent un défilement avant d’être visibles. Choisissez « No » pour interagir uniquement avec les éléments actuellement visibles à l’écran. En général, l’appui long s’applique au contenu actuellement visible à l’écran ; vous pouvez donc laisser l’option par défaut sur « No ».
Enregistrer le résultat dans	L’objectif principal est d’indiquer si le clic a réussi. Le résultat est stocké dans une variable booléenne : true signifie que le clic a réussi, false qu’il a échoué.
Notes	Ajoutez des commentaires pour documenter l’objectif ou la fonction de cette étape, afin de faciliter la relecture ou le débogage.

5. Appui long sur des coordonnées

Comme « Long Press Element », cette option cible l’élément à l’aide de coordonnées. Pour savoir comment renseigner X et Y, relisez « 3.4 Méthode basée sur les coordonnées ».

6. Saisir du contenu

Cas d’usage : cette option sert à saisir du texte dans un champ ou une zone de texte spécifique, par exemple un nom d’utilisateur, un mot de passe ou un mot-clé de recherche. Avec cette fonction, GeeLark RPA peut réaliser automatiquement des tâches comme remplir des formulaires ou effectuer des recherches.

Option	Description
Sélecteur	fullId : utilise l’ID unique de l’élément pour une localisation précise. text : localise les éléments selon le texte affiché, utile pour les éléments avec un texte visible clair. desc : localise les éléments selon leur description, idéal pour les contrôles de type icône. className : localise les éléments par nom de classe. Cela fonctionne seulement si le nom de classe est unique, et s’utilise souvent avec d’autres sélecteurs.
Condition du sélecteur	Égal à : correspond exactement à la valeur de l’attribut, adapté aux éléments dont la valeur est fixe. Contient : correspond à une partie de la valeur, adapté aux textes ou descriptions dynamiques.
Ordre de l’élément	Valeur fixe : sélectionne l’élément cible selon sa position dans la liste des éléments correspondants. Intervalle aléatoire : sélectionne aléatoirement un élément dans une plage définie d’éléments correspondants.
Temps d’attente	Définit le temps maximal, en millisecondes, pendant lequel rechercher l’élément cible. Si la page charge lentement, augmentez cette valeur, par exemple 5000 ms.
Rechercher les éléments invisibles	Détermine si l’action peut cibler des éléments non visibles à l’écran, par exemple des éléments masqués ou du contenu nécessitant un défilement. Choisissez « Yes » pour cliquer sur des boutons qui nécessitent un défilement avant d’être visibles. Choisissez « No » pour interagir uniquement avec les éléments actuellement visibles à l’écran.
Types de contenu	Sélection séquentielle : sélectionne le contenu dans l’ordre lorsqu’un même environnement contient plusieurs étapes de saisie. Sélection selon l’ordre des environnements : sélectionne le contenu selon l’ordre de saisie de chaque environnement. Sélection aléatoire : sélectionne aléatoirement un contenu parmi les entrées fournies.
Enregistrer le résultat dans	L’objectif principal est d’indiquer si le clic a réussi. Le résultat est stocké dans une variable booléenne : true signifie que le clic a réussi, false qu’il a échoué.
Notes	Ajoutez des commentaires pour documenter l’objectif ou la fonction de cette étape, afin de faciliter la relecture ou le débogage.

7. Action clavier

Cas d’usage : cette option simule l’appui sur une touche précise du clavier, par exemple pour envoyer un formulaire ou effacer le contenu d’une zone de texte. Elle sert souvent aux actions rapides ou au traitement du contenu après saisie dans GeeLark RPA.

Option	Description
Touches du clavier	Simule l’appui sur les touches « Enter » ou « Delete ». Cela sert à confirmer une action ou à supprimer du contenu dans une zone de texte.

8. Attendre l’apparition d’un élément

Cas d’usage : cette option attend l’apparition d’un élément précis, comme un bouton ou une zone de texte, afin de s’assurer que la page est chargée avant de passer à l’action suivante dans GeeLark RPA.

Option	Description
Sélecteur	fullId : utilise l’ID unique de l’élément pour une localisation précise. text : localise les éléments selon le texte affiché, utile pour les éléments avec un texte visible clair. desc : localise les éléments selon leur description, idéal pour les contrôles de type icône. className : localise les éléments par nom de classe. Cela fonctionne seulement si le nom de classe est unique, et s’utilise souvent avec d’autres sélecteurs.
Condition du sélecteur	Égal à : correspond exactement à la valeur de l’attribut, adapté aux éléments dont la valeur est fixe. Contient : correspond à une partie de la valeur, adapté aux textes ou descriptions dynamiques.
Ordre de l’élément	Valeur fixe : sélectionne l’élément cible selon sa position dans la liste des éléments correspondants. Intervalle aléatoire : sélectionne aléatoirement un élément dans une plage définie d’éléments correspondants.
Temps d’attente	Définit le temps maximal, en millisecondes, pendant lequel rechercher l’élément cible. Si la page charge lentement, augmentez cette valeur, par exemple 5000 ms.
Rechercher les éléments invisibles	Détermine si l’action peut cibler des éléments non visibles à l’écran, par exemple des éléments masqués ou du contenu nécessitant un défilement. Choisissez « Yes » pour cliquer sur des boutons qui nécessitent un défilement avant d’être visibles. Choisissez « No » pour interagir uniquement avec les éléments actuellement visibles à l’écran.
Enregistrer le résultat dans	L’objectif principal est d’indiquer si le clic a réussi. Le résultat est stocké dans une variable booléenne : true signifie que le clic a réussi, false qu’il a échoué.
Notes	Ajoutez des commentaires pour documenter l’objectif ou la fonction de cette étape, afin de faciliter la relecture ou le débogage.

Essayer GeeLark RPA maintenant

Le contenu d’aujourd’hui est dense ; prenez le temps de le parcourir. Vous pouvez utiliser les actions présentées pour créer un modèle RPA dans GeeLark RPA et vérifier s’il répond à vos besoins métier.

Guide GeeLark RPA pour débutants (1)

Guide GeeLark RPA pour débutants (2)

Guide GeeLark RPA pour débutants (3)

Guide GeeLark RPA pour débutants (5)

Guide GeeLark RPA pour débutants (6)

Manuel utilisateur GeeLark RPA