Automatisches Anmelden in Microsoft Fabric

In diesem Artikel wird das Autologging für Synapse Data Science in Microsoft Fabric beschrieben.

Durch die Verwendung der automatischen Protokollierung benötigen Sie deutlich weniger Code, um die Parameter, Metriken und Elemente eines Machine Learning-Modells während der Schulung automatisch zu protokollieren.

Autologging erweitert die MLflow-Tracking-Funktionen und ist tief in das Synapse Data Science Erlebnis von Microsoft Fabric integriert.

Die automatische Erfassung kann Metriken erfassen, einschließlich Genauigkeit, Verlust, F1-Bewertung und benutzerdefinierter Metriken, die Sie definieren. Mithilfe von Autologging können Entwickler und Data Scientists die Leistung verschiedener Modelle und Experimente ohne manuelle Nachverfolgung einfach verfolgen und vergleichen.

Unterstützte Frameworks

Autologging unterstützt eine breite Palette von Machine Learning Frameworks, darunter TensorFlow, PyTorch, scikit-learn und XGBoost. Weitere Informationen zu den frameworkspezifischen Eigenschaften, die von der automatischen Protokollierung erfasst werden, finden Sie in der MLflow-Dokumentation.

Konfiguration

Die automatische Protokollierung funktioniert während der Schulung, um die Werte der Eingabeparameter, Ausgabemetriken und Ausgabeelemente eines Machine Learning-Modells automatisch zu erfassen. Diese Informationen werden in Ihrem Microsoft Fabric Arbeitsbereich protokolliert, in dem Sie mithilfe der MLflow-APIs oder der entsprechenden Experiment- und Modellelemente in Ihrem Microsoft Fabric Arbeitsbereich darauf zugreifen und visualisieren können.

Wenn Sie ein Synapse Data Science-Notizbuch öffnen, ruft Microsoft Fabric mlflow.autolog() auf, um das Nachverfolgen und Laden der entsprechenden Abhängigkeiten sofort zu aktivieren. Während Sie Modelle in Ihrem Notizbuch trainieren, verfolgt MLflow automatisch Modellinformationen.

Die Konfiguration erfolgt automatisch, wenn import mlflow ausgeführt wird. Standardkonfiguration für den Notebook-Hook mlflow.autolog():

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    log_datasets=True,
    log_traces=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True,
    extra_tags=None,
    exclude_flavors=None
)

Anpassung

Um das Protokollierungsverhalten anzupassen, verwenden Sie die mlflow.autolog()-Konfiguration. Diese Konfiguration stellt Parameter bereit, um die Modellprotokollierung zu aktivieren, Eingabebeispiele zu sammeln, Warnungen zu konfigurieren oder die Protokollierung für hinzugefügte Inhalte zu aktivieren, die Sie angeben.

Nachverfolgen weiterer Metriken, Parameter und Eigenschaften

Aktualisieren Sie für Läufe, die Sie mithilfe von MLflow erstellen, die Konfiguration der automatischen Protokollierung in MLflow, um zusätzliche Metriken, Parameter, Dateien und Metadaten nachzuverfolgen.

1. Aktualisieren Sie den mlflow.autolog() Aufruf auf exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       log_datasets=True,
       log_traces=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True,
       extra_tags=None,
       exclude_flavors=None
   )
   

2. Verwenden Sie die MLflow-Tracking-APIs, um zusätzliche Parameter und Metriken zu protokollieren. Im folgenden Beispielcode wird gezeigt, wie Sie Ihre benutzerdefinierten Metriken und Parameter zusammen mit zusätzlichen Eigenschaften protokollieren.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
   mlflow.log_param("parameter name", "example value")
   # <add model training code here>
   mlflow.log_metric("metric name", 20)
   

Deaktivieren der automatischen Protokollierung in Microsoft Fabric

Sie können die Autoprotokollierung von Microsoft Fabric für eine bestimmte Notizbuchsitzung deaktivieren. Sie können die automatische Protokollierung für alle Notebooks auch mithilfe der Arbeitsbereichseinstellung deaktivieren.

Deaktivieren der automatischen Protokollierung für eine Notebook-Sitzung

Um das Microsoft Fabric-Auto-Logging für eine bestimmte Notizbuchsitzung zu deaktivieren, rufen Sie mlflow.autolog() auf, und legen Sie disable=True fest.

import mlflow
mlflow.autolog(disable=True)

Automatisches Logging für alle Notizbücher und Sitzungen deaktivieren

Arbeitsbereichsadministratoren können die automatische Microsoft Fabric protokollierung für alle Notizbücher und Sitzungen in ihrem Arbeitsbereich mithilfe der Arbeitsbereichseinstellungen aktivieren oder deaktivieren.

So aktivieren oder deaktivieren Sie Synapse Data Science Autologging:

1. Wählen Sie in Ihrem Arbeitsbereich Arbeitsbereichseinstellungen aus.

   

2. Erweitern Sie in den Arbeitsbereichseinstellungen im linken Menü "Data Engineering/Science" und wählen Sie "Spark"-Einstellungen aus.

3. Wählen Sie unter Spark-Einstellungen die Registerkarte Automatisches Protokoll aus.

4. Legen Sie Machine Learning-Experimente und -Modelle automatisch nachverfolgen auf Ein oder Aus fest.

5. Wählen Sie Speichern aus.

   

Verwandte Inhalte

• Erstellen eines Machine Learning-Modells mit Apache Spark MLlib
• Machine-Learning-Experimente in Microsoft Fabric