Automatisera användning av UI-element

Skrivbordsflöden använder gränssnittselement för att interagera med program och webbsidor, så de behöver inte använda bildigenkänning eller absoluta koordinater. De flesta åtgärder för automatisering av användargränssnitt och webbläsarautomatisering använder gränssnittselement som indata för att identifiera specifika element på fönster och webbsidor.

Gränssnittselement

När du distribuerar en åtgärd för automatisering av användargränssnitt eller webbläsarautomatisering kan du behöva ange ett gränssnittselement som indata. Om du vill lägga till ett nytt gränssnittselement kan du lägga till det direkt från åtgärdsegenskaperna eller via fönstret Gränssnittselement i flödesdesignern.

Var och en av dessa åtgärdsgrupper accepterar en annan typ av gränssnittselement. Automatiseringsåtgärder för användargränssnittet accepterar gränssnittselement för skrivbordet, medan åtgärder för webbläsarautomatisering accepterar webbgränssnittselement.

Om du vill lägga till ett nytt gränssnittselement i flödet lägger du till ett nytt användargränssnittselement via en åtgärd eller fönstret gränssnittselement, markerar respektive element och trycker på Ctrl + Vänsterklicka. När markeringen är klar väljer du Klar.

Alla insamlade gränssnittselement läggs till i fönstret gränssnittselement. Om du vill komma åt fönstret gränssnittselement väljer du fliken Gränssnittselement till höger i flödesdesignern.

Du kan sortera element alfabetiskt via alternativet Sortera på fliken Användargränssnittselement. Om du vill ta bort alla gränssnittselement som inte används i någon åtgärd väljer du punktikonen bredvid alternativet Sortera och sedan Ta bort oanvända gränssnittselement.

Om du vill byta namn på eller ta bort ett gränssnittselement högerklickar du på respektive objekt och väljer lämplig funktion.

Om du vill ta reda på var ett specifikt användargränssnittselement används i flödet högerklickar du på det och väljer Sök efter användningar. Resultatet visar alla åtgärder som använder det här användargränssnittselementet. Dubbelklicka på ett resultat för att markera åtgärden på arbetsytan.

Elementtyper för användargränssnitt

Skrivbordsflöden stöder två typer av gränssnittselement baserat på deras källa: gränssnittselement för skrivbord och webbgränssnittselement.

Du kan avbilda skrivbordsgränssnittselement från alla Windows program, inklusive komponenter som inte är webbsidor i webbläsare, till exempel adressfältet. I skrivbordsgränssnittselement stöds tre typer av väljare:

• UI Automation (UIA)-selektorer

  UIA är det moderna hjälpmedelsramverket som introducerades av Microsoft för att ersätta MSAA. Det är den rekommenderade tekniken för att automatisera de flesta Windows program, särskilt de som skapats med nyare gränssnittsramverk som WPF, WinForms och Universal Windows Platform (UWP). UIA erbjuder mer robust och detaljerad elementinformation, förbättrade hierarkistrukturer och större tillförlitlighet i automatiseringsscenarier.

  Använd UIA-väljare när det är möjligt för bättre prestanda, underhåll och support i moderna skrivbordsprogram.

• Microsoft Active Accessibility (MSAA)-selektorer

  MSAA är en äldre hjälpmedelsteknik som föregår UIA. Det används främst för äldre program som inte exponerar UIA-element, till exempel äldre Windows program som skapats med tekniker som VB6 eller klassisk Win32. MSAA ger mindre detaljer och struktur än UIA, men det är viktigt för att aktivera automatisering i miljöer där UIA inte är tillgängligt.

  Använd MSAA-väljare när du riktar in dig på äldre eller anpassade program som inte exponerar sina gränssnittskomponenter via UIA.

• UIA3 Raw-väljare

  UIA3 Raw är ett avancerat UI Automation-baserat avbildningsläge som använder UIA3-ramverket för att komma åt det råa, ofiltrerade UI-elementträdet. Till skillnad från UIA-standardväljare, som förlitar sig på en förfinad kontrollvy av programmet, exponerar UIA3 Raw alla element i användargränssnittshierarkin, inklusive mellanliggande, icke-interaktiva komponenter och ramverksnivåkomponenter.

  Det här läget är särskilt användbart för att automatisera program med komplexa eller icke-standardbaserade gränssnittsstrukturer, till exempel anpassade renderade kontroller, elektronbaserade appar eller fall där element inte är tillgängliga via UIA-standardväljare. UIA3 Raw kan visa ytterligare hierarkilager och egenskaper som annars inte är tillgängliga, vilket möjliggör mer exakt inriktning i utmanande scenarier.

  Använd UIA3 Raw-väljare när UIA-väljare inte på ett tillförlitligt sätt kan samla in eller identifiera element, eller när djupare åtkomst till programmets gränssnittsstruktur krävs.

Med UI-elementväljaren i UI-automatiseringsåtgärder kan du endast samla in skrivbordsgränssnittselement. Med en meny för avbildningsläge i det övre högra hörnet i väljaren kan du välja mellan UIA-, UIA3 Raw- och MSAA-lägen. Som standard använder väljaren UIA, men du kan växla till UIA3 Raw för avancerade scenarier eller MSAA när du automatiserar äldre program. Ett synligt meddelande i väljaren anger när ett läge som inte är standardläget är aktiverat.

Fönstret Användargränssnittselement visar insamlade element med en indikator som visar om elementen har avbildats med hjälp av UIA, UIA3 Raw eller MSAA. Den här indikatorn hjälper dig att identifiera vilken väljaretyp som används för varje element i flödet.

Du kan samla in webbgränssnittselement från webbsidor och endast använda dem i åtgärder för webbläsarautomatisering.

Åtgärder för webbläsarautomatisering accepterar endast gränssnittselement som hämtats från webbsidor. Därför visar UI-elementväljaren för dessa åtgärder inte befintliga gränssnittselement som hämtats från skrivbordsprogram.

Mer information om skrivbords- och webbautomatisering finns i Automatisera skrivbordsflöden och Automatisera webbflöden.

Gränssnittselement för webbsidor

Om du vill samla in ett användargränssnittselement från en webbsida måste du installera lämpligt webbläsartillägg. Mer information om webbläsare som stöds och det nödvändiga tillägget finns i Använda webbläsare och hantera tillägg.

Skilja skrivbord från webbgränssnittselement

Fönstret Gränssnittselement visar distinkta visuella indikationer som hjälper dig att snabbt identifiera skillnaden mellan skrivbords- och webbgränssnittselement.

När du avbildar ett skrivbordselement visas skrivbordsikonen. När du avbildar ett webbelement visas webbikonen. På så sätt kan du bekräfta elementtypen innan du sparar den.

En annan metod för att kontrollera typen av ett gränssnittselement är att granska dess väljare. Skrivbordsgränssnittselement har vanligtvis skrivbordet som sitt överordnade element, medan webbgränssnittselement har en webbsida som rotelement.

Gränssnittselement i webbläsarfönster

Automatisera programdelen i en webbläsare (1) med hjälp av skrivbordsgränssnittselement. Använd till exempel automatiseringsåtgärder för användargränssnittet för att interagera med adressfältet eller flikarna.

Å andra sidan automatiserar du de inlästa webbsidorna i webbläsaren (2) med hjälp av webbgränssnittselement och åtgärder för webbläsarautomatisering.

Under inspelningen skiljer inspelaren automatiskt webbläsarens programområde från webbsidorna och genererar lämpliga gränssnittselement och åtgärder.

Interaktioner med dra och släpp webbgränssnittselement kanske inte fungerar som förväntat på grund av deras inneboende begränsningar. Som en lösning kan du samla in gränssnittselement på en webbsida genom att öppna elementväljaren för användargränssnittet via en åtgärd i gruppen UI Automation genom att välja Lägg till användargränssnittselement i parametern UI element . Det insamlade användargränssnittselementet är av skrivbordstyp och kan användas i åtgärden Drag and drop UI element in window . Tänk på att du endast kan använda skrivbordsgränssnittselement i åtgärder i åtgärdsgruppen för automatisering av användargränssnittet för Power Automate för skrivbordet. Det är viktigt att observera att skrivbordsgränssnittselement på webbsidor inte är lika tillförlitliga som deras webbmotsvarigheter och omfattas av information om webbläsarprogram, till exempel webbläsarens version.

Egenskaper för gränssnittselement

Alla gränssnittselement består av en eller flera väljare som identifierar användargränssnittet eller webbkomponenten som Power Automate interagerar med.

Om du vill hantera väljare för ett gränssnittselement högerklickar du på det och väljer Redigera. Det här alternativet öppnar selektorverktyget, där du kan redigera selektorerna med en visuell redigerare eller en textredigerare.

Varje väljare består av flera element som representerar den hierarkiska strukturen för användargränssnittselementet i programmet eller webbsidan. Attributen beskriver varje element unikt och skiljer det från andra element.

Alla väljare visas med ett eget standardnamn som gör dem lättillgängliga. Om du vill byta namn på en väljare högerklickar du på dess namn och väljer Byt namn.

När du redigerar ett gränssnittselement med flera väljare kan du inaktivera en väljare genom att högerklicka på den och välja Inaktivera. Den här funktionen kan vara till hjälp under testningen.

När du har redigerat väljarna väljer du Spara för att tillämpa ändringarna. När du sparar tillämpas ändringarna i alla väljare i ett enda steg.

Mer information om väljare och hur du skapar dem manuellt finns i Skapa en anpassad väljare.

Gränssnittselement med textbaserade väljare

Förutom standardmetoden för att generera väljare för gränssnittselement har Power Automate stöd för att skapa väljare baserat på ett elements textvärde.

Den här funktionen är användbar för automatiseringsscenarier som hanterar element i skrivbordsprogram eller webbsidor som alltid levereras med specifika texter. Väljare som baseras på dessa texter är mer tillförlitliga och motståndskraftiga mot eventuella framtida ändringar i program- eller webbsidans struktur.

Du kan bara generera textbaserade väljare när du samlar in användargränssnittselement med hjälp av UI-elementväljaren (fönstret gränssnittselement eller automatiseringsåtgärder för webbläsare/användargränssnitt). Du kan inte generera dem under inspelningen.

Om du vill avbilda ett gränssnittselement med en textbaserad väljare öppnar du elementväljaren för användargränssnittet, högerklickar på önskat element och väljer Avbilda baserat på text.

Sedan visas ett nytt fönster med två fält på skärmen:

• Fältet Textvärde innehåller elementets text som ett föreslaget värde. Du kan ändra det här värdet till ett hårdkodat värde eller en variabel.
• Du kan ange fältet Operator till olika operatorer för att justera väljarens funktioner.

Om du väljer Avbilda läggs användargränssnittselementet till med rätt textbaserad väljare i UI-elementlagringsplatsen.

Textbaserade väljare använder attributet Namn för det insamlade elementet för skrivbordsautomatisering och textattributet för webbläsarautomatisering. De är endast tillgängliga för gränssnittselement som innehåller ett textvärde.

Med andra ord är de tillgängliga för gränssnittselement med ett namn - eller textattribut som innehåller ett värde. De är inte tillgängliga för element som inte har ett sådant textvärde, även om de har underelement med text i strukturen.

Kända problem och begränsningar

• Om du väljer Lägg till gränssnittselement, hovrar över ett fönster och väljer att avbilda ett användargränssnittselement efter text, genererar processen en standardväljare. Den här väljaren innehåller attributet Process tillsammans med Namn.

• När du använder en variabel med en annan operator än Lika med visas väljaren i den anpassade textredigeraren i stället för det visuella verktyget. Den här funktionen kringgår en begränsning som gör att kombinationen ovan inte fungerar i det visuella byggverktyget.