Konfigurera automatiserad testning med Azure Test Plans

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Automatiserad testning i Azure Test Plans ansluter din automatiserade testkod till arbetsobjekt för testfall. Du kan köra tester på begäran från testplaner, spåra resultat tillsammans med manuella tester och mäta kravnivåkvalitet. Den här artikeln går igenom hela arbetsflödet från att skriva tester till att analysera resultat.

Arbetsflöde för automatisk testning från slutpunkt till slutpunkt

När du konfigurerar automatiserad testning ingår följande steg:

  1. Skapa automatiserade tester – Skriv tester i ett ramverk som stöds och kontrollera dem i källkontrollen.
  2. Konfigurera en byggpipeline – Skapa en pipeline som kompilerar testprojektet och skapar binärfiler för test.
  3. Associera tester med testfall – Länka varje automatiserad testmetod till ett arbetsobjekt för testfall för spårning.
  4. Kör automatiserade tester – Kör tester på begäran från testplaner eller som en del av CI/CD-pipelines.
  5. Granska resultat och spåra kvalitet – Analysera godkända/icke-godkända resultat, följ upp täckning av krav och upptäck trender.

Förutsättningar

Category Krav
Projektåtkomst Projektmedlem.
Åtkomstnivåer – För att visa testrelaterade arbetsobjekt eller köra testfall: Minst Bas åtkomst. Användare med intressent åtkomst har ingen åtkomst till testplaner.
- Om du vill använda alla testrelaterade funktioner: Basic + Test Plans åtkomstnivå eller någon av följande Visual Studio prenumerationer:
- Företag
- Test Professional
- MSDN-plattformar
Behörigheter Behörigheter för områdessökväg:
– Om du vill lägga till eller ändra testplaner, testpaket, testfall eller andra testbaserade arbetsobjektstyper: Redigera arbetsobjekt i den här noden inställd på Tillåt.
– Så här ändrar du egenskaper för testplan, till exempel bygg- och testinställningar: Hantera testplaner som är inställda på Tillåt.
– Om du vill skapa och ta bort testsviter lägger du till och tar bort testfall från testpaket eller ändrar testkonfigurationer som är associerade med testpaket: Hantera testsviter som är inställda på Tillåt.

Behörigheter på projektnivå:
– Om du vill visa, skapa eller ta bort testkörningar: Visa testkörningar, Skapa testkörningar och Ta bort testkörningar inställda på Tillåt.
– Hantera testkonfigurationer eller testmiljöer: Hantera testkonfigurationer och Hantera testmiljöer som är inställda på Tillåt.
– Så här lägger du till nya taggar i testbaserade arbetsobjekt: Skapa taggdefinition inställd på Tillåt.
– Ta bort testbaserade arbetsobjekt permanent: Ta bort arbetsobjekt som angetts till Tillåt permanent.

Mer information finns i Manuell teståtkomst och behörigheter.

Additionally:

Category Requirements
Pipelinebehörigheter Om du vill köra automatiserade tester från testplaner behöver du versionsbehörigheter (Skapa versioner, Hantera distributioner, Redigera versionssteg). Mer information finns i Release-behörigheter.
Arbetsredskap Visual Studio 2017 eller senare (Enterprise eller Professional) för att associera tester från Visual Studio. Krävs inte om du associerar tester från Azure DevOps-webbportalen.

Steg 1: Skapa automatiserade tester

Skriv automatiserade tester med hjälp av alla ramverk som stöds. Kontrollera testprojektet i Azure-lagringsplatser eller en ansluten GitHub lagringsplats.

Ramverk som stöds

Ramverk Associera i Visual Studio Associate inom Azure DevOps
MSTest v1/v2 Yes Yes
NUnit Yes Yes
xUnit Yes Yes
Selen Yes Yes
Kodade användargränssnittstester Yes Yes
Python (PyTest) No Yes
Java (Maven/Gradle) No Yes

Vägledning om hur du skriver användargränssnittstester som körs på ett tillförlitligt sätt i CI/CD-pipelines finns i Överväganden för gränssnittstestning. Ett stegvist Selenium-exempel finns i Utföra användargränssnittstester med Selenium.

Steg 2: Ställ in en byggpipeline

Skapa en byggpipeline som kompilerar testprojektet och producerar artefakter som innehåller binärfilerna för test. Både klassiska pipelines och YAML-pipelines stöds.

  1. Skapa din första pipeline om du inte har någon.
  2. Se till att pipelinen skapar testprojektet och publicerar testbinärfilerna som byggartefakter.
  3. Använd uppgiften Visual Studio Test eller Azure Test Plan för att köra och rapportera tester i pipelinen.
  4. Om pipelinen kör tester visas resultatet automatiskt på fliken Tester i pipelinekörningen.

Om du vill publicera testresultat från testlöpare som inte Microsoft använder du uppgiften Publicera testresultat.

Steg 3: Associera automatiserade tester med testfall

När du associerar en testmetod med ett arbetsobjekt för testfall får du följande fördelar:

  • Körning på begäran från testplaner
  • Kravspårning – när testfall länkar till användarberättelser visar automatiserade resultat kravnivåkvalitet
  • Enhetlig rapportering – automatiserade och manuella testresultat visas tillsammans i testkörningshubben

Du kan associera tester från Visual Studio eller från webbportalen Azure DevOps:

  • Visual Studio – Öppna Test Explorer, välj en testmetod och välj Associate to Test Case. Stöder .NET ramverk (MSTest, NUnit, xUnit, Selenium, Coded UI).
  • Azure DevOps portal – Associera från pipelinetestresultat eller direkt från ett arbetsobjekt för testfall. Stöder alla ramverk, inklusive Python och Java.

Fullständiga instruktioner finns i Associera automatiserade tester med testfall.

Important

Du kan associera en testmetod med flera testfall, men varje testfall kan bara ha en associerad testmetod.

Steg 4: Kör automatiserade tester

Kör tester från testplaner (på begäran)

Utlös automatiserade tester direkt från Azure Test Plans utan att konfigurera schemalagda versioner. Välj specifika testfall och kör dem mot en bygg- och versionspipeline som konfigurerats i testplanens inställningar.

Stegvisa instruktioner finns i Köra automatiserade tester från testplaner.

Köra från pipelines (CI/CD)

Kör automatiserade tester som en del av din bygg- eller versionspipeline. Testerna körs automatiskt vid varje incheckning eller distribution, och resultaten visas på fliken Tester för pipelinen.

Steg 5: Granska testresultat och spåra kvalitet

Testresultat

  • I Testplaner – Visa godkända och misslyckade resultat för automatiserade och manuella tester tillsammans i Testkörningshubben. Välj valfri testkörning för att se detaljerade resultat, felmeddelanden och stackspårningar.
  • I Pipelines – Visa testresultat på fliken Tester för alla pipelinekörningar. Se Granska testresultat.
  • Testanalys – Identifiera de bästa misslyckade testerna, spåra trender för genomströmning och analysera felmönster i byggen. Se Testanalys.
  • Kodtäckning – Mät vilka delar av koden som används av tester. Se Granska resultat av kodtäckning.
  • Flagnande testhantering – Identifiera och hantera tester med icke-deterministiska resultat för att förhindra falska byggfel. Se Hantera opålitliga tester.

Krav spårbarhet

När du länkar testfall till krav (användarberättelser, PBI:er) visar automatiserade testresultat kvalitet på kravnivå. Spåra vilka krav som godkänns, misslyckas eller saknar testtäckning. Se Kravspårningsbarhet.