Typen von Suchobjekten
Suchobjekte lassen sich je nach Erkennungsmethode in drei Hauptkategorien einteilen:
- Erkannte UI-Elemente – werden vom AI-Modell direkt im Bildschirmbild erkannt.
- Spezielle Objekte – legen Arbeitsbereiche, Masken oder relative Koordinaten fest.
- Positionsbezogene Suche – findet Elemente relativ zu einem anderen Bezugsobjekt.
Jeder Typ spielt eine wichtige Rolle für eine zuverlässige UI-Automatisierung.
Positionsbezogene Suche
Diese Elemente finden ein Ziel anhand seiner Position relativ zu einem anderen Element. Zwei Felder müssen gesetzt werden:
Erkannte UI-Elemente
Das Erkennungsmodell verarbeitet einen Screenshot und liefert die Elemente zurück, die sich für eine Interaktion eignen.
Spezielle Objekte
Diese Objekte stellen keine interaktiven Elemente dar; sie legen Bereiche oder Masken fest.