Überwachen der Ressourcenauslastung von Apache Spark-Anwendungen

Das Ausführungsverwendungsdiagramm auf der Registerkarte "Ressourcen" visualisiert die Zuordnung und Nutzung von Spark-Executoren für die aktuelle Spark-Anwendung in nahezu Echtzeit während der Spark-Ausführung. Das Diagramm bietet auch eine interaktive Oberfläche, mit der Sie Spark-Aufträge und -Aufgaben anzeigen können, indem Sie zu einem bestimmten Zeitpunkt auf die Ausführung von Executoren klicken. Derzeit unterstützen nur Spark Runtime Version 3.4 und höher dieses Feature.

Registerkarte „Ressourcen“

Klicken Sie auf die Registerkarte Ressourcen, um auf einen Graph mit vier unterschiedlichen Liniendiagrammen zuzugreifen, wobei jeweils ein anderer Executorstatus dargestellt wird: Wird ausgeführt, Im Leerlauf, Zugeteilt und Maximale Anzahl von Instanzen.

Screenshot mit der Überwachung der Ressourcennutzung.

  • Wird ausgeführt: Hiermit wird die tatsächliche Anzahl der Kerne angezeigt, die von der Spark-Anwendung zum Ausführen von Spark-Aufträgen und -Aufgaben verwendet werden.

  • Idled: Dies stellt die Anzahl der Kerne dar, die verfügbar sind, aber nicht verwendet werden, während die Spark-Anwendung ausgeführt wird.

  • Zugeteilt: Dies bezieht sich auf die Kerne, die bei Ausführung der Spark-Anwendung zugeteilt wurden.

  • Maximale Instanz: Dies gibt die maximale Anzahl von Kernen an, die der Spark-Anwendung zugeordnet werden können.

Schalten Sie die Farblegende ein, um das entsprechende Diagramm im Ressourcenauslastungsdiagramm auszuwählen oder zu deaktivieren.

Screenshot: Abbildung zur Graphauswahl

Das Diagramm zur Ressourcenauslastung ist interaktiv. Wenn Sie mit dem Mauszeiger auf den Graph für die ausgeführten Executorkerne zeigen, werden eine Zusammenfassung der Kerne und entsprechende Executorinformationen angezeigt. Wenn Sie auf einen Punkt auf der Linie für die ausgeführten Executorkerne klicken, werden detaillierte Informationen zu dem jeweiligen Executor und Auftrag zu diesem bestimmten Zeitpunkt angezeigt, der unten im Diagramm angezeigt wird.

Screenshot: Details zur Zuteilung der ausgeführten Executorkerne

Anmerkung

In einigen Fällen kann die Anzahl der Aufgaben zu bestimmten Zeitpunkten die Kapazität der Ausführungskerne überschreiten (d. h. Anzahl der Aufgaben > Gesamtanzahl der Ausführungskerne / spark.task.cpus). Dies ist zu erwarten, da es eine Zeitverzögerung geben könnte, zwischen dem Markieren einer Aufgabe als ausgeführt und ihrer tatsächlichen Ausführung auf einem Executor-Kern. Daher werden einige Aufgaben möglicherweise als ausgeführt angezeigt, obwohl sie nicht aktiv auf einem Kern ausgeführt werden.

Verwandte Inhalte

Eine Übersicht über Fabric Spark-Überwachung, Spark-Anwendungsüberwachung und Notizbuchkontextüberwachung finden Sie unter:

  • Last updated on