Häufig gestellte Fragen zu Testplänen

Azure Test Plans verwendet drei access Ebenen:

• Stakeholder: Kann Feedback über die Test- und Feedbackerweiterung geben, kann aber nicht auf das Test-Plans-Portal zugreifen.
• Einfach: Kann Testfälle ausführen, Testergebnisse markieren und Diagramme und Berichte anzeigen.
• Basic + Test Plans: Vollständige Funktionen, einschließlich erstellung und Verwaltung von test plans, Testsammlungen, Testfällen, Konfigurationen und Parametern. Abonnements für Visual Studio Enterprise, Visual Studio Test Professional und MSDN-Plattformen umfassen einen gleichwertigen Zugang.

Die vollständige Berechtigungsmatrix finden Sie unter Manual test access and permissions.

Die Registerkarte Define ist nur für Benutzer mit Basic + Test Plans access oder gleichwertig verfügbar. Benutzer mit Basic Zugriff können die Registerkarten Execute und Chart verwenden, aber keine Testfälle über die Registerkarte Define erstellen oder bearbeiten. Um Zugriff zu erhalten, bitten Sie Ihren Administrator, Ihnen die Zugriffsebene Basic + Test Plans zuzuweisen.

Azure Test Plans unterstützt drei Arten von Testsammlungen:

• Statische Testsammlungen: Manuelles Organisieren von Testfällen in Gruppen. Verwenden Sie statische Suiten, wenn Sie auswählen möchten, welche Testfälle zusammengehören.
• Anforderungsbasierte Testsammlungen: Automatisches Verknüpfen von Testfällen mit Backlogelementen (Benutzergeschichten, Produktrücklogelemente). Verwenden Sie anforderungsbasierte Suites, um die Testabdeckung anhand von Anforderungen nachzuverfolgen – dieser Suitetyp ist die einzige Möglichkeit, die End-to-End-Anforderungsablaufverfolgung zu unterstützen.
• Abfragebasierte Testsammlungen: Automatisches Auffüllen von Testfällen basierend auf einer Arbeitsaufgabenabfrage (z. B. alle Testfälle mit Priority=1). Die Suite wird aktualisiert, wenn sich die Abfrageergebnisse ändern.

Weitere Informationen finden Sie unter Testen von Objekten und Ausdrücken.

Yes. Je nach gewünschter Aktion können Sie test plans kopieren oder klonen und Testsammlungen importieren oder klonen. Informationen dazu finden Sie unter Testpläne, Teststrategien und Testfälle kopieren oder klonen.

Yes. Wählen Sie im Dialogfeld "Exportieren" die Option "Drucken" aus, und wählen Sie dann im Dialogfeld "Drucken" die Option "Abbrechen" aus, um die Daten im Bericht anzuzeigen. Markieren Sie den gesamten Text, und kopieren Sie ihn in ein Word-Dokument. Die Berichtsformatierung wird beibehalten.

Der Testfall ist weiterhin in Ihrem Projekt vorhanden, wird jedoch aus der Testsuite entfernt und nicht mehr mit dem Backlog-Element für diese Suite verknüpft.

Dieses Problem kann auftreten, wenn Sie aufgefordert werden, Anmeldeinformationen einzugeben, wenn Sie den Link auswählen. Ohne sich von Azure DevOps abzumelden, wählen Sie View Tests erneut aus, um die richtige Testsuite und -tests anzuzeigen.

Verwenden Sie in Test Plans das Verzeichnis, um Ihre test plans zu finden:

• Mine: Zeigt Testpläne für Teams, denen Sie angehören, sowie Ihre Favoriten an. Pläne werden nach Team gruppiert.
• All: Zeigt alle test plans im project an. Sie können aus dieser Ansicht Pläne zu Favoriten hinzufügen.

Verwenden Sie die Filtersteuerelemente, um nach Name, Team, Status oder Iteration zu suchen. Weitere Informationen finden Sie unter Navigate Test Plans.

Yes. Siehe "Testfälle kopieren".

Yes. Drücken Shift+Enter im Aktions- oder Erwartetergebnisfeld, um eine zusätzliche Zeile hinzuzufügen.

Wählen Sie einen Testschritt aus. Drücken Sie ALT+P , um einen neuen Testschritt oberhalb des ausgewählten Schritts einzufügen.

Siehe Testartefakte löschen.

Sie können Testfälle in Massen mithilfe von CSV- oder XLSX-Dateien importieren und exportieren. Mit dem Import können Sie neue Testfälle erstellen oder vorhandene (einschließlich Testfall-IDs) aktualisieren. Mit dem Export können Sie Testfalldetails einschließlich benutzerdefinierter Spalten herunterladen.

Schrittweise Anleitungen finden Sie unter "Massenimport" und "Exportieren von Testfällen".

Yes. Lassen Sie in derselben CSV- oder XLSX-Datei das ID-Feld für neue Testfälle leer und schließen Sie die vorhandene ID für Updates ein.

Der Import-Assistent überprüft Ihre Datei in jeder Phase – Dateiupload, Feldzuordnung und vor dem endgültigen Import. Es zeigt Fehler inline an, und Sie müssen sie beheben, bevor der Import fortgesetzt werden kann.

Häufige Fehler und Lösungen:

Um Fehler zu beheben, korrigieren Sie Ihre CSV- oder XLSX-Datei, laden Sie sie erneut hoch, und schließen Sie den Import ab.

Der Importvorgang unterstützt nur Testfall-Arbeitsaufgaben. Um auf vorhandene geteilte Schritte zu verweisen, fügen Sie ihre ID in Ihre Datei ein. Der Import kann keine neuen freigegebenen Schritte erstellen – erstellen Sie sie zuerst in der Weboberfläche, und verweisen Sie dann auf ihre ID.

Weitere Arbeitsaufgabentypen (Benutzergeschichten, Aufgaben, Fehler) finden Sie unter Massenimport oder -aktualisierung (CSV).

Fügen Sie die folgenden neun Kopfzeilen mit exakter Schreibweise ein:

Es gibt keine Möglichkeit, eine einzelne Aktion rückgängig zu machen. Jeder Import erstellt jedoch eine Überarbeitung für jeden betroffenen Testfall. Zeigen Sie die Registerkarte "Verlauf " in einzelnen Testfällen an, um zu sehen, was sich geändert hat und welche Felder manuell wiederhergestellt wurden. Bei Rollbacks im großen Maßstab importieren Sie die ursprüngliche exportierte Datei erneut.

Es gelten die folgenden Einschränkungen:

• Testfälle müssen sich während des Imports im Entwurfszustand befinden.
• Testfalltitel dürfen 128 Zeichen nicht überschreiten.
• Import- und Exportdateien haben eine Größenbeschränkung von 20 MB.
• Sie müssen über Berechtigungen für den Bereich und die Iterationspfade des Zieltestplans und der Testsuite verfügen.
• Vorgänge schlagen fehl, wenn ein Testfall mehr als 1.000 verknüpfte Links enthält.

Mit freigegebenen Schritten können Sie eine wiederverwendbare Sequenz von Testschritten (z. B. einen gemeinsamen Anmeldefluss) definieren, auf die von mehreren Testfällen verwiesen werden kann. Wenn Sie freigegebene Schritte aktualisieren, gelten die Änderungen automatisch für alle Testfälle, die sie verwenden.

Um freigegebene Schritte zu erstellen, wählen Sie einen oder mehrere Schritte in einem Testfall aus, und wählen Sie dann das Symbol " Freigegebene Schritte erstellen " aus. Weitere Informationen finden Sie unter Austausch von Schritten zwischen Testfällen.

Sie führen Testpunkte und keine Testfälle direkt aus. Ein Testpunkt ist eine einzigartige Kombination aus Testfall, Testsuite, Konfiguration und Tester. Wenn beispielsweise einem Testfall zwei Browserkonfigurationen (Chrome und Edge) zugewiesen sind, werden zwei Testpunkte erstellt – eine für jede Konfiguration. Auf der Registerkarte "Ausführen " wird das neueste Ausführungsergebnis für jeden Testpunkt angezeigt.

Wenn Sie Tests auf der Registerkarte "Ausführen " ausführen, können Sie aus den folgenden Läufern wählen:

• Webbrowserbasierter Runner: Führt manuelle Tests im Browser aus. Sie können optional einen bestimmten Build auswählen, dem Ergebnisse zugeordnet werden sollen.
• Test Runner-Client (Desktop): Eine Desktopanwendung zum Testen von Desktopanwendungen.
• Automatisierte Tests mithilfe einer Veröffentlichungsphase: Löst die automatisierte Testausführung aus einer Build- und Release-Pipeline aus.

Weitere Informationen finden Sie unter Ausführen manueller Tests.

Yes. Der Test Runner Client für Windows ist für den Ruhestand geplant. Nach dem Deaktivierungsdatum wird es nicht mehr verfügbar oder unterstützt. Übergang zum webbasierten Testläufer, der die gleiche Funktionalität mit verbesserter Leistung und fortlaufender Entwicklung bietet.

Weitere Informationen finden Sie unter Ausführen manueller Tests.

Während eines manuellen Testlaufs können Sie die folgenden Diagnosedaten erfassen:

• Bildschirmaufnahmen: Erstellen Von kommentierten Screenshots während der Testausführung.
• Bildaktionsprotokoll: Erfasst automatisch Ihre Interaktionen mit der Anwendung als schrittweises visuelles Protokoll.
• Bildschirmaufzeichnungen: Zeichnen Sie Ihren Bildschirm während des Tests auf. Aufzeichnungen werden nach 10 Minuten automatisch beendet.

Weitere Informationen finden Sie unter Sammeln von Diagnosedaten beim Testen.

Bei Testfalldiagrammen wird der Test nur einmal gezählt, wenn ein Testfall mehreren Testsuiten in einem Plan hinzugefügt wird. Bei Testergebnisdiagrammen wird jede Instanz eines Tests, der ausgeführt wird, für jede der Testsammlungen separat gezählt.

Zum Erstellen von Diagrammen müssen Sie mindestens den "Basic-Zugriff" zugewiesen bekommen.

Wählen Sie "Konfigurieren" und die gewünschte Option aus dem Kontextmenü des Diagramms aus.

Der Statusbericht weist die folgenden Einschränkungen auf:

• Zeigt Daten nur für einen oder mehrere Testpläne in einem einzelnen Projekt an. Verwenden Sie OData-APIs für die projektübergreifende Berichterstellung.
• Daten werden ungefähr alle 15 Minuten aktualisiert und sind nicht in Echtzeit.
• Prozentwerte zeigen keine Dezimalstellen an.
• Ergebnisse wie "Blockiert " und " Nicht zutreffend " werden nicht in "Passed%" oder "Failed%" widergespiegelt. Dies kann eine Lücke zwischen "Run%" und der Summe der übergebenen% und "Fehlgeschlagene%" darstellen.
• Daten aus Testplänen migriert von lokalen Azure DevOps Servern werden nicht angezeigt.

Weitere Informationen finden Sie im Statusbericht.

Es ist besser, Testkonfigurationen zu verwenden. Bei Testfallparametern führen Sie die verschiedenen Parameterwerte nacheinander aus, wodurch es schwierig ist, von einer Plattform zu einer anderen zu wechseln. Weitere Informationen finden Sie unter Testen verschiedener Konfigurationen.

Sie benötigen die Projektebene-Berechtigung Manage-Testkonfigurationen, die auf Zulassen festgelegt ist. Standardmäßig wird diese Berechtigung Mitgliedern der gruppen Contributors und Project Administrator erteilt.

Sie können automatisierte Testmethoden mit Testfallaufgaben verknüpfen, damit Sie sie aus Testplänen ausführen können. Öffnen Sie in Visual Studio Test Explorer, wählen Sie eine Testmethode aus, und wählen Sie Zu Testfall zuordnen aus. Sie können Tests auch über eine Buildpipeline in Azure DevOps zuordnen.

Weitere Informationen finden Sie unter Zuordnen von automatisierten Tests zu Testfällen.

Die folgenden Testframeworks werden unterstützt:

• Visual Studio-Zuordnung: MSTest v1/v2, NUnit, xUnit, Selenium, Codierte UI
• Azure DevOps-Zuordnung: Java (Maven/Gradle mit JUnit), JavaScript (Jest), Python (PyTest)
• .NET Core: Wird über Visual Studio 15.9 oder höher mit einer datei .runsettings unterstützt

Tests von GitHub-Repositories werden auch unterstützt, wenn sie über Azure Pipelines mit den Tasks VSTest oder PublishTestResults ausgeführt werden.

Yes. Sie können sowohl YAML als auch Classic pipelines verwenden, um automatisierte Tests von Test Plans auszuführen. Konfigurieren Sie die Buildpipeline in den Testplaneinstellungen, und richten Sie eine Releasepipeline (Klassisch oder YAML) für die automatisierte Testausführung bei Bedarf ein.

Anweisungen zum Einrichten finden Sie unter Automatisierte Tests von Testplänen ausführen.

Yes. Verwenden Sie den Befehl "Ausführen mit Optionen" . Öffnen Sie das Kontextmenü für die Testsuite, und wählen Sie "Ausführen mit Optionen" aus, und geben Sie Folgendes an:

• Testtyp und Runner: Wählen Sie Automatisierte Tests mithilfe der Releasephase aus.
• Build: Wählen Sie den Build mit den Testbinärdateien aus. Testergebnisse sind diesem Build zugeordnet.
• Release-Pipeline: Wählen Sie eine Pipeline aus, die das ausgewählte Build-Artefakt verwenden kann.
• Veröffentlichungsphase: Wählen Sie die in Ihrer Releasepipeline konfigurierte Phase aus.

Azure Pipelines stellt einen Orchestrierungsworkflow bereit, um Testbinärdateien als Artefakte abzurufen und Tests auszuführen. Dieser Workflow verwendet dieselben Konzepte wie geplante Tests, sodass Sie eine vorhandene geplante Testversionspipeline klonen können, um schnell loszulegen.

Veröffentlichungsphasen ermöglichen Ihnen auch den Zugriff auf den vollständigen Aufgabenkatalog für Aktivitäten vor und nach der Testausführung, z. B. das Vorbereiten von Testdaten oder das Verwalten von Konfigurationsdateien.

Wir empfehlen eine separate Release-Pipeline und eine Stufe für automatisierte On-Demand-Tests, weil:

• Geplante Phasen stellen die App in der Regel zuerst bereit – Sie möchten möglicherweise nicht jedes Mal, wenn Sie einige Tests ausführen, eine vollständige Bereitstellung durchführen.
• Jede On-Demand-Ausführung löst eine neue Version aus. Hohe Mengen an On-Demand-Versionen können es schwierig machen, Ihre geplanten Test- und Produktionsversionen zu finden.
• Möglicherweise möchten Sie die Visual Studio Test-Aufgabe mit einem Testlaufbezeichner konfigurieren, um zu verfolgen, was jede Version ausgelöst hat.

Wenn Sie UI-Tests (codierte UI oder Selenium) ausführen, muss der Agent im interaktiven Modus ausgeführt werden, wobei autologon aktiviert ist , damit er einen Webbrowser starten kann. Wenn Sie einen headless Browser verwenden, kann der Agent als Dienst oder im interaktiven Modus ausgeführt werden.

Weitere Informationen finden Sie unter Build- und Release-Agents, Deploy an agent on Windows und Agent pools.

Wenn "Tests auswählen" auf"Testausführung" festgelegt ist, übermittelt das Testverwaltungs-Subsystem die Liste der ausgewählten Tests über ein Testlauf-Objekt. Die Visual Studio Test-Aufgabe sucht den Testlaufbezeichner, extrahiert Testausführungsinformationen (Container- und Testmethodennamen), führt die Tests aus, aktualisiert die Ergebnisse und legt die zugehörigen Testpunkte fest.

Dies bietet auch einen Revisionspfad, der historische Versionen und Testlauf-IDs mit den Tests verknüpft, die zur On-Demand-Ausführung übermittelt werden.

Verwenden Sie eine Runsettings-Datei , um Werte als Parameter zu übergeben. In einer Version mit mehreren Phasen können Sie beispielsweise die entsprechende App-URL an die Testaufgabe jeder Stufe übergeben. Geben Sie die Runsettings-Datei an und überschreiben Sie Parameter in der Visual Studio Test-Aufgabe.

Ja, wenn die folgenden Bedingungen erfüllt sind:

• Der Agentpool verfügt über genügend Agents, um parallele Anforderungen zu verarbeiten. Wenn Agenten nicht verfügbar sind, wird die Warteschlange erst bearbeitet, wenn die Agenten wieder frei sind.
• Sie haben genügend parallele Aufträge konfiguriert.
• Tester führen nicht dieselben Tests parallel aus, da die Ergebnisse je nach Ausführungsreihenfolge möglicherweise überschrieben werden.

Legen Sie die Phasentriggeroption für das Verhalten fest, wenn mehrere Versionen auf die Bereitstellung warten, damitmehrere Versionen gleichzeitig bereitgestellt werden können (wenn Ihre App parallele Tests unterstützt) oder nur eine aktive Bereitstellung gleichzeitig zulassen.

Der bei Bedarf automatisierte Testworkflow ist derzeit nicht konfigurationsbewusst. Wenn Sie mehrere Konfigurationen für denselben Test auswählen, werden keine separaten Testläufe pro Konfiguration erstellt.

Der On-Demand-Workflow ist für einen einzelnen Azure Pipelines-Build optimiert. Die Unterstützung für Versionen mit mehreren Artefakten und Nicht-Azure Pipelines-Artefaktquellen (z. B. Jenkins) wird basierend auf Benutzerfeedback ausgewertet.

Weitere Informationen finden Sie unter "Erste Schritte mit Selenium-Tests".

Standardmäßig löscht Azure DevOps alle Testergebnisse nach einem Jahr (365 Tage), es sei denn, Sie behalten einen Build, der diesen Ergebnissen zugeordnet ist, auf unbestimmte Zeit. Ältere Projekte haben möglicherweise keine automatische Löschung konfiguriert.

Weitere Informationen finden Sie unter Festlegen von Testaufbewahrungsrichtlinien.

Siehe Festlegen von Testaufbewahrungsrichtlinien.

Siehe Set-Aufbewahrungsrichtlinien für Builds, Versionen und Tests.

Der Testausführungshub bietet eine erweiterte Schnittstelle zum Verwalten der Testausführung in Azure Test Plans. Sie können sowohl manuelle als auch automatisierte Testläufe anzeigen, nach Zeitachse und Ausführungstyp filtern, nach Testlauf-ID suchen, Spalten anpassen und Drilldowns ausführen, einschließlich Passraten, Anlagen und Analyseaufschlüsselungen nach Ergebnis, Priorität, Konfiguration und Fehlertyp.

Greifen Sie über Test Plans>Runs auf den Testlaufhub zu. Weitere Informationen finden Sie unter "Testausführungen".

Sie können die Videoaufzeichnungen anzeigen, die von der Erweiterung Test & Feedback im Google Chrome-Browser und im VLC Video Player erstellt wurden.

Die Test- & Feedback-Erweiterung unterstützt Azure DevOps Server (ehemals Team Foundation Server) 2015 und höher. Alle Benutzer, einschließlich Benutzern, denen Stakeholder-Zugang erteilt wurde, können die Erweiterung im Verbundenen Modus verwenden. Funktionalitäten, die im Zusammenhang mit Sitzungserkenntnissen stehen, und der Anforderungs- und Feedback-Fluss erfordern Azure DevOps Server 2017 oder neuere Versionen.

Ja, die Erweiterung zeigt automatisch Fehler an, die möglicherweise mit dem von Ihnen erstellten Fehler zusammenhängen, und ermöglicht es Ihnen, Ihre Screenshots, Notizen und Videos zu diesem bestehenden Fehler hinzuzufügen. Weitere Informationen finden Sie unter Hinzufügen von Ergebnissen zu vorhandenen Fehlern mit explorativen Tests.

Die Test & Feedback-Erweiterung ist für Google Chrome und Microsoft Edge verfügbar. Die Verfügbarkeit von Features variiert je nach Browser – für die vollständige Kompatibilitätsmatrix finden Sie unter Installieren der Erweiterung "Test & Feedback".

• Verbindungsmodus: Die Erweiterung stellt eine Verbindung mit Azure DevOps oder Azure DevOps Server her. Sie können Fehler und Aufgaben erstellen, die automatisch mit Ihrer explorativen Testsitzung verknüpft sind, Sitzungserkenntnisse anzeigen und den Anforderungs-/Feedbackfluss verwenden.
• Standalone-Modus: Verwenden Sie die Erweiterung, ohne eine Verbindung mit Azure DevOps herzustellen. Sie können Screenshots, Notizen und Bildschirmaufzeichnungen erfassen und dann als HTML-Bericht exportieren. Der eigenständige Modus ist für Ad-hoc-Tests nützlich.

Weitere Informationen finden Sie unter Exploratory-Tests mit der Erweiterung "Test & Feedback" im verbundenen Modus und im eigenständigen Modus.

Verwandte Inhalte

• Erstellen eines Testplans
• Erstellen von Testfällen
• Manuelle Tests ausführen
• Automatisierte Tests aus Testplänen ausführen
• Teststatus nachverfolgen
• Verwalten von Testzugriff und Berechtigungen