Een MLflow-experimentresource toevoegen aan een Databricks-app

Voeg MLflow-experimenten toe als Databricks Apps-resources om experimenten bij te houden voor uw AI-toepassingen, agents, LLM's en ML-modellen. MLflow-experimenten bieden een gestructureerde manier om uitvoeringen te organiseren en te registreren, parameters, metrische gegevens en artefacten bij te houden gedurende de ontwikkelingslevenscyclus van AI-toepassingen.

Wanneer u een MLflow-experiment als resource toevoegt, kan uw app het volgende doen:

• Fouten opsporen in agents en LLM-toepassingen met uitvoeringstraceringen
• Agent- en LLM-toepassingskwaliteit evalueren met scorers
• Sjablonen voor beheer- en versiepromptsjablonen voor LLM-toepassingen
• Ml-modeltrainingen vastleggen met parameters, metrische gegevens en artefacten
• Experimentgegevens, metagegevens en uitvoeringsgeschiedenis ophalen

Een MLflow-experimentresource toevoegen

Voordat u een MLflow-experiment als resource toevoegt, controleert u de vereisten voor de app-resource.

1. Klik in de sectie App-resources wanneer u een app maakt of bewerkt op + Resource>MLflow-experiment toevoegen.
2. Kies een MLflow-experiment in de lijst met beschikbare experimenten in uw werkruimte.
3. Selecteer het juiste machtigingsniveau voor uw app:
   • Kan lezen: Verleent de app toestemming om metagegevens van experimenten, uitvoeringen, parameters en metrische gegevens weer te geven. Gebruiken voor apps die experimentresultaten weergeven.
   • Kan bewerken: Verleent de app toestemming om experimentinstellingen en metagegevens te wijzigen.
   • Kan het volgende beheren: Verleent de app volledige beheerderstoegang tot het experiment.
4. (Optioneel) Geef een aangepaste resourcesleutel op. Dit is de wijze waarop u naar het experiment in uw app-configuratie verwijst. De standaardsleutel is experiment.

Wanneer u een MLflow-experimentresource toevoegt:

• Azure Databricks verleent de service-principal van uw app de opgegeven machtigingen voor het geselecteerde experiment.
• De app kan trainingsuitvoeringen registreren en toegang krijgen tot experimentgegevens via de MLflow Tracking-API.
• Access is alleen beperkt tot het geselecteerde experiment. Uw app heeft geen toegang tot andere experimenten, tenzij u ze toevoegt als afzonderlijke resources.

Omgevingsvariabelen

Wanneer u een app met een MLflow-experimentresource implementeert, Azure Databricks de experiment-id beschikbaar maakt via omgevingsvariabelen waarnaar u kunt verwijzen met behulp van het veld valueFrom in uw app.yaml-configuratie.

Voorbeeldconfiguratie:

env:
  - name: MLFLOW_EXPERIMENT_ID
    valueFrom: experiment # Use your custom resource key if different

Gebruik de experiment-id in uw toepassing:

import os
import mlflow

# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")

# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)

# Log parameters and metrics
with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.95)
    mlflow.log_artifact("model.pkl")

Zie Toegang tot omgevingsvariabelen vanuit resources voor meer informatie.

Een MLflow Experiment-resource verwijderen

Wanneer u een MLflow Experiment-resource uit een app verwijdert, verliest de service-principal van de app de toegang tot het experiment. Het experiment zelf blijft ongewijzigd en blijft beschikbaar voor andere gebruikers en toepassingen met de juiste machtigingen.

Beste praktijken

Volg deze aanbevolen procedures wanneer u met MLflow-experimentbronnen werkt:

• Organiseer experimenten logisch op project- of modeltype om de zichtbaarheid te verbeteren.
• Gebruik consistente naamconventies voor uitvoeringen en parameters in uw organisatie.
• Overweeg bewaarbeleid voor experimenten en opslagbeheer voor langlopende projecten.