Verwenden von Azure Databricks-Daten auf der Microsoft Power Platform

Auf dieser Seite wird erläutert, wie Sie Ihre Azure Databricks-Daten von den folgenden Plattformen nach dem Erstellen einer Verbindung verwenden:

• Power Apps: Erstellen Sie Anwendungen, die von Azure Databricks gelesen und in Azure Databricks geschrieben werden können, während Ihre Azure Databricks-Governance-Steuerelemente erhalten bleiben.
• Power Automate: Erstellen Sie Flüsse, und fügen Sie Aktionen hinzu, die das Ausführen von benutzerdefiniertem SQL oder einem vorhandenen Auftrag ermöglichen und die Ergebnisse zurückholen.
• Copilot Studio: Erstellen Sie benutzerdefinierte Agents mit Ihren Azure Databricks-Daten als Wissensquelle oder verbinden Sie Genie-Räume als Tools.

Voraussetzungen

Bevor Sie eine Verbindung mit Azure Databricks von Power Platform herstellen, müssen Sie eine Verbindung mit Azure Databricks auf Microsoft Power Platform erstellen.

Verwenden Ihrer Azure Databricks-Daten zum Erstellen von Power Canvas-Apps

Gehen Sie wie folgt vor, um Ihre Azure Databricks-Daten zu Ihrer Anwendung hinzuzufügen:

1. Klicken Sie in Power Apps in der navigationsleiste ganz links auf "Erstellen".
2. Klicken Sie auf Mit einem leeren Zeichenbereich starten und wählen Sie die gewünschte Größe der Leinwand aus, um eine neue Canvas-App zu erstellen.
3. Klicken Sie in Ihrer Anwendung auf Datenkonnektoren > hinzufügen > Azure Databricks. Klicken Sie auf die von Ihnen erstellte Azure Databricks-Verbindung.
4. Wählen Sie einen Katalog aus der Randleiste "Dataset auswählen " aus.
5. Wählen Sie in der Randleiste "Dataset auswählen" alle Tabellen aus, mit der Sie Ihre Canvas-App verbinden möchten.
6. Klicken Sie auf Verbinden.

Datenvorgänge in Power Apps:

Der Connector unterstützt Erstellungs-, Aktualisierungs- und Löschvorgänge, jedoch nur für Tabellen, die einen Primärschlüssel definiert haben. Beim Ausführen von Erstellungsvorgängen müssen Sie immer den Primärschlüssel angeben.

Azure Databricks unterstützt generierte Identitätsspalten. In diesem Fall werden Primärschlüsselwerte während der Zeilenerstellung automatisch auf dem Server generiert und können nicht manuell angegeben werden.

Verwenden Ihrer Azure Databricks-Daten zum Erstellen von Power Automate-Flüssen

Die Azure Databricks-Anweisungsausführungs-API und die Auftrags-API werden in Power Automate verfügbar gemacht, sodass Sie SQL-Anweisungen schreiben und vorhandene Aufträge ausführen können. Gehen Sie wie folgt vor, um einen Power Automate-Fluss mithilfe von Azure Databricks als Aktion zu erstellen:

1. Klicken Sie in Power Automate in der navigationsleiste ganz links auf "Erstellen".

2. Erstellen Sie einen Fluss, und fügen Sie einen beliebigen Triggertyp hinzu.

3. Klicken Sie in Ihrem neuen Fluss auf + und suchen Sie nach "Databricks", um die verfügbaren Aktionen anzuzeigen.

4. Um eine SQL-Abfrage zu schreiben, wählen Sie eine der folgenden Aktionen aus:

   • Führen Sie eine SQL-Anweisung aus: Schreiben und Ausführen einer SQL-Anweisung. Geben Sie Folgendes ein:

     • Geben Sie für "Body/warehouse_id" die ID des Lagers ein, auf dem die SQL-Anweisung ausgeführt werden soll.
     • Geben Sie für "Body/statement_id" die ID der auszuführenden SQL-Anweisung ein.

     Weitere Informationen zu erweiterten Parametern finden Sie in der API-Dokumentation.

   • Überprüfen Sie den Status und erhalten Sie Ergebnisse: Überprüfen Sie den Status einer SQL-Anweisung, und sammeln Sie Ergebnisse. Geben Sie Folgendes ein:

     • Geben Sie für die Anweisungs-ID die ID ein, die zurückgegeben wird, wenn die SQL-Anweisung ausgeführt wurde.

     Weitere Informationen zum Parameter finden Sie in der API-Dokumentation.

   • Abbrechen der Ausführung einer Anweisung: Beenden Sie die Ausführung einer SQL-Anweisung. Geben Sie Folgendes ein:

     • Geben Sie für die Anweisungs-ID die ID der zu beendenden SQL-Anweisung ein.

     Weitere Informationen zum Parameter finden Sie in der API-Dokumentation.

   • Ergebnis nach Blockindex abrufen: Rufen Sie Ergebnisse nach Blockindex ab, die für große Resultsets geeignet ist. Geben Sie Folgendes ein:

     • Geben Sie für die Anweisungs-ID die ID der SQL-Anweisung ein, deren Ergebnisse Sie abrufen möchten.
     • Geben Sie für den Blockindex den Zielabschnittsindex ein.

     Weitere Informationen zu den Parametern finden Sie in der API-Dokumentation.

5. Um mit einem vorhandenen Azure Databricks-Auftrag zu interagieren, wählen Sie eine der folgenden Aktionen aus:

   • Aufträge auflisten: Ruft eine Liste von Aufträgen ab. Weitere Informationen finden Sie in der API-Dokumentation.
   • Auslösen eines neuen Joblaufs: Führt einen Joblauf aus und gibt die run_id der ausgelösten Ausführung zurück. Weitere Informationen finden Sie in der API-Dokumentation.
   • Abruf einer einzelnen Auftragsausführung: Gibt Metadaten zu einer Ausführung zurück, einschließlich Ausführungsstatus (z. B. RUNNING, SUCCESS, FAILED), Start- und Endzeit, Ausführungsdauern, Clusterinformationen usw. Weitere Informationen finden Sie in der API-Dokumentation.
   • Abbrechen einer Ausführung: Bricht einen auszuführenden Auftrag oder eine auszuführende Aufgabe ab. Weitere Informationen finden Sie in der API-Dokumentation.
   • Rufen Sie die Ausgabe für eine einzelne Ausführung ab: Ruft die Ausgabe und Metadaten eines einzelnen Auftrags oder einer einzelnen Aufgabenausführung ab. Weitere Informationen finden Sie in der API-Dokumentation.

Verbinden mit Genie Spaces in Copilot Studio

Genie ist ein Azure Databricks-Feature, mit dem Geschäftsteams mithilfe natürlicher Sprache mit ihren Daten interagieren können. Weitere Informationen zum Einrichten von Genie-Räumen auf Azure Databricks finden Sie unter Was ist ein Genie-Raum. Stellen Sie sicher, dass Sie Ihren Azure Databricks Genie space einen eindeutigen Namen und eine klare Beschreibung bereitstellen.

Gehen Sie wie folgt vor, um einen Genie-Raum als Tool in einem Copilot Studio-Agent hinzuzufügen:

1. Klicken Sie auf der Copilot Studio-Randleiste auf "Agent".

2. Wählen Sie einen vorhandenen Agent aus, oder erstellen Sie einen neuen Agent, indem Sie auf "+ Leeren Agent erstellen" klicken.

3. Wählen Sie das Modell Ihres Agenten aus. Databricks empfiehlt die Auswahl von Sonnet 4.5 als Modell Ihres Agenten.

4. Beschreiben Sie unter "Anweisungen" die Funktionen Ihres Agents und das Verhalten.

   • Databricks empfiehlt, folgendes in die Anweisungen aufzunehmen: "Immer den Genie-Raum abfragen, bis Sie eine Antwort erhalten. Beenden Sie nicht nach ein paar Sekunden." Dadurch wird verhindert, dass die Integration wiederholt eine "noch in Bearbeitung" Nachricht sendet, während der Agent den Genie-Raum überwacht.

5. Klicken Sie unter "Extras" auf +Tool hinzufügen.

6. Suchen Sie nach "Azure Databricks", oder wählen Sie "Modellkontextprotokoll" aus.

7. Wählen Sie Azure Databricks Genie aus, wählen Sie Ihre Verbindung mit Azure Databricks neben "Verbindung" aus, und klicken Sie auf "Hinzufügen und Konfigurieren".

8. Konfigurieren Sie das Azure Databricks Genie-Tool:

   1. Benennen Sie das Tool. Ein aussagekräftigerer Toolname hilft dem Copilot-Studio-Agenten, Anfragen zu orchestrieren.
   2. Geben Sie unter Inputs die Genie Space-ID ein, oder wählen Sie im Dropdownmenü das Genie Space aus.
   1. Um den On-behalf-of (OBO)-Flow zu verwenden, klicken Sie unter "Details" auf "Weitere Details". Wählen Sie Endbenutzeranmeldeinformationen als zu verwendende Anmeldeinformationen aus. Um eine Singular-Identität zu verwenden, wählen Sie die von Maker bereitgestellten Anmeldeinformationen aus.
      • Für Endbenutzeranmeldeinformationen müssen Sie entweder die Freigabe von Verbindungsparametern aktivieren, die Dokumentation von Microsoft anzeigen, oder Benutzer müssen über eine bereits vorhandene Verbindung mit Azure Databricks verfügen. Wenn die Freigabe von Verbindungsparametern nicht aktiviert ist, müssen Benutzer ihre Verbindung zu Azure Databricks in Power Apps erstellen.
   1. Speichern Sie das Tool.
   2. (Optional) Aktualisieren Sie den Abschnitt "Tools" auf dem Konfigurationsbildschirm, um zu bestätigen, dass der Genie-Bereich verbunden ist.

9. Klicken Sie oben rechts auf "Einstellungen". Klicken Sie im Abschnitt " Orchestrierung " auf "Ja ", um die generative KI-Orchestrierung für die Antworten Ihres Agenten zu verwenden.

10. Um Ihren Agent zu veröffentlichen, klicken Sie oben rechts auf "Veröffentlichen ".

11. (Optional) Veröffentlichen Sie den Genie-fähigen Copilot Studio-Agent in Microsoft Teams oder Microsoft 365, um Genies Einblicke an andere Benutzer zu verteilen. Informationen zum Veröffentlichen Ihres Agents finden Sie in der Dokumentation von Microsoft.

Sie können Ihren Agent zu einer Power App hinzufügen. Informationen zum Einrichten einer Power App finden Sie unter Verwenden Ihrer Azure Databricks-Daten zum Erstellen von Power Canvas-Apps. Informationen zum Hinzufügen Ihres Copilot Studio-Agents zu einer Power App finden Sie in der Dokumentation von Microsoft.

Um den Agent in Ihrer veröffentlichten App zu verwenden, öffnen Sie die veröffentlichte Anwendung, klicken Sie in der oberen rechten Ecke auf das Symbol "Copilot ", und stellen Sie eine Frage.

Verwenden von Azure Databricks als Wissensquelle in Copilot Studio

Gehen Sie wie folgt vor, um Ihre Azure Databricks-Daten als Wissensquelle zu einem Copilot Studio-Agent hinzuzufügen:

1. Klicken Sie auf der Copilot Studio-Randleiste auf "Agent".

2. Wählen Sie einen vorhandenen Agent aus, oder erstellen Sie einen neuen Agent, indem Sie auf +Neuer Agent klicken.

   • Beschreiben Sie den Agent, indem Sie eine Nachricht eingeben und dann auf "Erstellen" klicken.
   • Oder klicken Sie auf "Überspringen" , um die Informationen des Agenten manuell anzugeben.

3. Klicken Sie auf der Registerkarte " Wissen " auf +Wissen.

4. Klicken Sie auf "Erweitert".

5. Klicken Sie auf Azure Databricks als Wissensquelle.

6. Geben Sie den Katalognamen ein, in dem sich Ihre Daten befindet.

7. Klicken Sie auf Verbinden.

8. Wählen Sie die Tabellen aus, die Ihr Agent als Wissensquelle verwenden soll, und klicken Sie auf "Hinzufügen".

Erstellen von virtuellen Dataverse-Tabellen mit Ihren Azure Databricks-Daten

Sie können auch virtuelle Dataverse-Tabellen mit dem Azure Databricks-Connector erstellen. Virtuelle Tabellen, auch als virtuelle Entitäten bezeichnet, integrieren Daten aus externen Systemen in Microsoft Dataverse. Eine virtuelle Tabelle definiert eine Tabelle in Dataverse, ohne die physische Tabelle in der Dataverse-Datenbank zu speichern. Weitere Informationen zu virtuellen Tabellen finden Sie unter "Erste Schritte mit virtuellen Tabellen (Entitäten)".

Sie müssen über die Rolle "System Customizer" oder "Systemadministrator" verfügen. Weitere Informationen finden Sie unter Sicherheitsrollen für Power Platform.

Führen Sie die folgenden Schritte aus, um eine virtuelle Dataverse-Tabelle zu erstellen:

1. Klicken Sie in Power Apps auf der Randleiste auf "Tabellen".
2. Klicken Sie in der Menüleiste auf +Neue Tabelle , und wählen Sie "Virtuelle Tabelle erstellen" aus.
3. Wählen Sie eine vorhandene Azure Databricks-Verbindung aus, oder erstellen Sie eine neue Verbindung mit Azure Databricks. Informationen zum Hinzufügen einer neuen Verbindung finden Sie unter Erstellen einer Azure Databricks-Verbindung auf Microsoft Power Platform.
   • Databricks empfiehlt die Verwendung einer Dienstprinzipalverbindung zum Erstellen einer virtuellen Tabelle.
4. Klicke auf Weiter.
5. Wählen Sie die Tabellen aus, die als virtuelle Dataverse-Tabelle dargestellt werden sollen.

   Hinweis

   Virtuelle Dataverse-Tabellen erfordern einen Primärschlüssel. Der Schlüssel muss entweder eine GUID (Zeichenfolge), bigInt oder eine ganze Zahl sein. Ansichten können keine virtuellen Tabellen sein, aber materialisierte Ansichten können sein.

6. Klicke auf Weiter.
7. Konfigurieren Sie die virtuelle Tabelle, indem Sie die Details der Tabelle bei Bedarf aktualisieren.
8. Klicke auf Weiter.
9. Bestätigen Sie die Details der Datenquelle, und klicken Sie auf "Fertig stellen".
10. Verwenden Sie die virtuelle Tabelle "Dataverse" in Power Apps, Power Automate und Copilot Studio.

Eine Liste der bekannten Einschränkungen virtueller Dataverse-Tabellen finden Sie unter "Bekannte Einschränkungen" und "Problembehandlung".

Sollten Sie virtuelle Tabellen oder eine direkte Verbindung verwenden?

Dataverse-virtuelle Datentabellen und eine direkte Verbindung bieten unterschiedliche Vorteile. Die von Ihnen gewählte Methode hängt von Ihrem Anwendungsfall ab. In der folgenden Tabelle sind die hauptfunktionen der einzelnen Methoden zusammengefasst.

Durchführen von Batchaktualisierungen

Wenn Sie als Reaktion auf Power Apps-Eingaben Massenerstellungs-, Aktualisierungs- oder Löschvorgänge ausführen müssen, empfiehlt Databricks, einen Power Automate-Fluss zu implementieren. Führen Sie hierzu die folgenden Schritte aus:

1. Erstellen Sie eine Canvas-App mit Ihrer Azure Databricks-Verbindung in Power Apps.

2. Erstellen Sie einen Power Automate-Fluss mithilfe der Azure Databricks-Verbindung, und verwenden Sie Power Apps als Trigger.

3. Fügen Sie im Power Automate-Trigger die Eingabefelder hinzu, die Sie von Power Apps an Power Automate übergeben möchten.

4. Erstellen Sie ein Sammlungsobjekt in Power Apps, um alle Ihre Änderungen zu sammeln.

5. Fügen Sie Ihrer Canvas-App den Power Automate Flow hinzu.

6. Rufen Sie den Power Automate-Flow aus Ihrer Canvas-App auf, und iterieren Sie über die Sammlung mithilfe eines ForAll Befehls.

   ForAll(collectionName, FlowName.Run(input field 1, input field 2, input field 3, …)
   

Gleichzeitige Schreibvorgänge

Parallelität auf Zeilenebene reduziert Konflikte zwischen gleichzeitigen Schreibvorgängen, indem Änderungen auf Zeilenebene erkannt und Konflikte bei gleichzeitigen Schreibvorgängen automatisch aufgelöst werden, die unterschiedliche Zeilen in derselben Datendatei aktualisieren oder löschen.

Parallelität auf Zeilenebene ist in Databricks Runtime 14.2 oder höher enthalten. Parallelität auf Zeilenebene wird standardmäßig für die folgenden Tabellentypen unterstützt:

• Tabellen mit aktivierten Löschvektoren und ohne Partitionierung
• Tabellen mit flüssigem Clustering, es sei denn, Löschvektoren sind deaktiviert

Führen Sie den folgenden SQL-Befehl aus, um Löschvektoren zu aktivieren.

ALTER TABLE table_name SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Weitere Informationen zu gleichzeitigen Schreibkonflikten in Azure Databricks finden Sie unter Isolationsstufen und Schreibkonflikten.

Einschränkungen

Copilot Studio-Einschränkungen

• Genie Spaces in Copilot Studio unterstützen bis zu fünf Fragen pro Minute aufgrund von Genie-API-Ratenbeschränkungen. Kostenlose Stufenlimits sind vorhanden, um Missbrauch zu verhindern. Um darüber hinaus zu skalieren, wenden Sie sich bitte an Ihr Databricks-Kontoteam.

Einschränkungen von Power Apps

Die folgenden PowerFx-Formeln berechnen Werte nur mit den lokal abgerufenen Daten: