Geautomatiseerde tests instellen met Azure Test Plans

Azure DevOps Services | Azure DevOps Server | Azure DevOps Server 2022

Geautomatiseerd testen in Azure Test Plans verbindt uw geautomatiseerde testcode met testcasewerkitems. U kunt tests op aanvraag uitvoeren vanuit testplannen, resultaten bijhouden naast handmatige tests en kwaliteit op vereisteniveau meten. In dit artikel wordt de volledige werkstroom beschreven van het schrijven van tests tot het analyseren van resultaten.

End-to-end geautomatiseerde testwerkstroom

Het instellen van geautomatiseerde tests omvat de volgende stappen:

  1. Geautomatiseerde tests maken : schrijf tests in een ondersteund framework en controleer deze in broncodebeheer.
  2. Een build-pijplijn instellen : maak een pijplijn waarmee uw testproject wordt gecompileerd en binaire testbestanden worden geproduceerd.
  3. Koppel tests aan testcases : koppel elke geautomatiseerde testmethode aan een testcasewerkitem voor traceerbaarheid.
  4. Geautomatiseerde tests uitvoeren : voer tests op aanvraag uit vanuit testplannen of als onderdeel van CI/CD-pijplijnen.
  5. Bekijk de resultaten en houd de kwaliteit bij : analyseer pass/fail resultaten, volg de dekking van vereisten en identificeer trends.

Prerequisites

Categorie Requirement
Toegang tot het project Projectdeelnemer.
Toegangsniveaus - Testgerelateerde werkitems weergeven of testcases uitvoeren: ten minste Basic toegang. Gebruikers met belanghebbende toegang hebben geen toegang tot testplannen.
- Om het volledige scala aan testgerelateerde functies uit te oefenen: Basic + Test Plans toegangsniveau of een van de volgende Visual Studio abonnementen:
- Onderneming
- Test Professional
- MSDN-platformen
toestemmingen Gebiedspadmachtigingen:
- Als u testplannen, testsuites, testcases of andere typen werkitems op basis van tests wilt toevoegen of wijzigen: Werkitems bewerken in dit knooppunt ingesteld op Toestaan.
- Als u de eigenschappen van het testplan wilt wijzigen, zoals build- en testinstellingen: Testplannen beheren die zijn ingesteld op Toestaan.
- Als u testsuites wilt maken en verwijderen, testcases aan testsuites wilt toevoegen of verwijderen, of testconfiguraties wilt wijzigen die aan testsuites zijn gekoppeld: zorg ervoor dat Testsuites beheren is ingesteld op Toestaan.

Projectniveau-machtigingen:
- Testuitvoeringen weergeven, maken of verwijderen: Testuitvoeringen weergeven, Testuitvoeringen maken en Testuitvoeringen verwijderen ingesteld op Toestaan.
- Testconfiguraties of testomgevingen beheren: testconfiguraties beheren en testomgevingen beheren die zijn ingesteld op Toestaan.
- Om nieuwe tags toe te voegen aan testgebaseerde werkitems: stel de tagdefinitie in op Toestaan.
- Werkitems op basis van tests definitief verwijderen: Werkitems definitief verwijderen ingesteld op Toestaan.

Zie Handmatige testtoegang en machtigingen voor meer informatie.

Additionally:

Categorie Requirements
Pijplijnmachtigingen Als u geautomatiseerde tests wilt uitvoeren vanuit testplannen, hebt u releasemachtigingen nodig (releases maken, implementaties beheren, releasefase bewerken). Zie Releasemachtigingen voor meer informatie.
Gereedschappen Visual Studio 2017 of hoger (Enterprise of Professional) om tests van Visual Studio te koppelen. Niet vereist als u tests koppelt vanuit de Azure DevOps-webportal.

Stap 1: Geautomatiseerde tests maken

Schrijf geautomatiseerde tests met behulp van elk ondersteund framework. Controleer het testproject in Azure-opslagplaatsen of een verbonden GitHub opslagplaats.

Ondersteunde frameworks

Raamwerk Associëren met Visual Studio Medewerker in Azure DevOps
MSTest v1/v2 Ja Ja
NUnit Ja Ja
xUnit Ja Ja
Selenium Ja Ja
Coded UI-tests Ja Ja
Python (PyTest) Nee Ja
Java (Maven/Gradle) Nee Ja

Zie overwegingen voor het testen van gebruikersinterfaces voor hulp bij het schrijven van UI-tests die betrouwbaar worden uitgevoerd in CI/CD-pijplijnen. Zie Voor een stapsgewijze Selenium-voorbeeld: Voer UI-tests uit met Selenium.

Stap 2: Een build-pipeline instellen

Maak een build-pijplijn waarmee uw testproject wordt gecompileerd en artefacten worden geproduceerd die de binaire testbestanden bevatten. Zowel klassieke als YAML-pijplijnen worden ondersteund.

  1. Maak uw eerste pijplijn als u er nog geen hebt.
  2. Zorg ervoor dat uw pipeline het testproject bouwt en de testbinaries publiceert als build-artifacten.
  3. Gebruik de taak Visual Studio Testtaak of de taak Azure Testplan om tests in uw pijplijn uit te voeren en te rapporteren.
  4. Als uw pijplijn tests uitvoert, worden de resultaten automatisch weergegeven op het tabblad Tests van de pijplijnuitvoering.

Als u testresultaten van niet-Microsoft testlopers wilt publiceren, gebruikt u de taak Testresultaten publiceren.

Stap 3: Geautomatiseerde tests koppelen aan testcases

Wanneer u een testmethode koppelt aan een testcasewerkitem, krijgt u de volgende voordelen:

  • Uitvoering op aanvraag vanuit testplannen
  • Traceerbaarheid van vereisten : wanneer testcases zijn gekoppeld aan gebruikersverhalen, tonen geautomatiseerde resultaten kwaliteit op vereisteniveau
  • Geïntegreerde rapportage : geautomatiseerde en handmatige testresultaten worden samen weergegeven in de Test Run Hub

U kunt tests koppelen vanuit Visual Studio of vanuit de Azure DevOps-webportal:

  • Visual Studio — Open Test Explorer, selecteer een testmethode en kies Associate to Test Case. Ondersteunt .NET frameworks (MSTest, NUnit, xUnit, Selenium, Coded UI).
  • Azure DevOps portal — Koppelen aan resultaten van pijplijntests of rechtstreeks vanuit een testcasewerkitem. Ondersteunt alle frameworks, waaronder Python en Java.

Zie Geautomatiseerde tests koppelen aan testcases voor volledige instructies.

Belangrijk

U kunt een testmethode koppelen aan meerdere testcases, maar elke testcase kan slechts één bijbehorende testmethode hebben.

Stap 4: Geautomatiseerde tests uitvoeren

Uitvoeren van testplannen (op aanvraag)

Activeer geautomatiseerde tests rechtstreeks vanuit Azure Test Plans zonder geplande builds in te stellen. Selecteer specifieke testcases en voer deze uit op een build- en release-pijplijn die is geconfigureerd in de testplaninstellingen.

Zie Geautomatiseerde tests uitvoeren vanuit testplannen voor stapsgewijze instructies.

Uitvoeren vanuit pijplijnen (CI/CD)

Voer geautomatiseerde tests uit als onderdeel van uw build- of release-pijplijn. Tests worden automatisch uitgevoerd op elke doorvoering of implementatie en resultaten worden weergegeven op het tabblad Tests van de pijplijn.

Stap 5: Testresultaten controleren en kwaliteit bijhouden

Testresultaten

  • In Testplannen : bekijk de resultaten van geslaagde en mislukte tests voor geautomatiseerde en handmatige tests samen in de Test Run Hub. Selecteer een testuitvoering om gedetailleerde resultaten, foutberichten en stacktraceringen weer te geven.
  • In Pipelines : bekijk de testresultaten op het tabblad Tests van een pijplijnuitvoering. Zie Testresultaten controleren.
  • Test Analytics — identificeer de belangrijkste falende tests, houd trends in het slagingspercentage bij en analyseer foutpatronen over builds heen. Zie Test Analytics.
  • Codedekking : meet welke onderdelen van uw code worden uitgevoerd door tests. Zie De resultaten van de codedekking controleren.
  • Flaky testbeheer : tests detecteren en beheren met niet-deterministische resultaten om foutieve buildfouten te voorkomen. Zie Flaky tests beheren.

Traceerbaarheid van vereisten

Wanneer u testcases koppelt aan vereisten (gebruikersverhalen, PBI's), tonen geautomatiseerde testresultaten kwaliteit op vereisteniveau. Houd bij welke vereisten slagen, niet slagen of geen testdekking hebben. Zie traceerbaarheid van vereisten.

Verwante inhoud

  • Last updated on