Konzepte der CSV-Parser-Eingabe

Eine CSV-Datei (durch Trennzeichen getrennte Werte) ist eine durch Trennzeichen getrennte Textdatei, die zum Speichern von Daten in einem strukturierten Tabellenformat verwendet wird.

Ein CSV Parser DAG ermöglicht es einem Kunden, Daten basierend auf einem benutzerdefinierten Schema in Microsoft Azure Data Manager für Energieinstanzen zu laden, ein Schema, das nicht mit dem OSDU® Well Known Schema (WKS) übereinstimmt. Kunden müssen das benutzerdefinierte Schema mithilfe des Schemadiensts erstellen und registrieren, bevor die Daten geladen werden.

Ein CSV Parser DAG implementiert einen ELT-Ansatz (Extrahieren, Laden und Transformieren) für das Laden von Daten, d. h. Daten werden zuerst aus dem Quellsystem in einem CSV-Format extrahiert und in die Azure Data Manager for Energy-Instanz geladen. Sie könnte dann mithilfe eines Zuordnungsdiensts in das OSDU® Well Known Schema transformiert werden.

Was bewirkt die CSV-Erfassung?

Eine CSV-Parser-DAG ermöglicht es den Kunden, die CSV-Daten in den Microsoft Azure Data Manager für Energieinstanz zu laden. Sie analysiert jede Zeile einer CSV-Datei und erstellt einen Speichermetadatensatz. Es wird ausgeführt schema validation , um sicherzustellen, dass die CSV-Daten dem registrierten benutzerdefinierten Schema entsprechen. Er führt automatisch type coercion für die Spalten basierend auf der Schemadatentypdefinition aus. Die Zeichenfolge unique id wird für jede Zeile des CSV-Datensatzes erzeugt, indem die Quelle, der Entitätstyp und eine Base64-kodierte Zeichenfolge kombiniert werden, die durch das Verketten der natürlichen Schlüssel in den Daten gebildet werden. Er führt unit conversion durch, indem er deklarierte Verweisrahmeninformationen mithilfe des Einheitsdiensts in den entsprechenden dauerhaften Verweis konvertiert. Er führt CRS conversion für Spalten mit räumlichem Bezug basierend auf den im Schema vorhandenen Verweisrahmeninformationen (Frame of Reference, FoR) durch. Es erstellt relationships Metadaten wie im Quellschema deklariert. Schließlich persists er den Metadatensatz mithilfe des Speicherdiensts.

CSV-Parser-Erfassungskomponenten

Der CSV-Parser-DAG-Workflow besteht aus den folgenden Diensten:

• Der Dateidienst erleichtert die Verwaltung von Dateien im Azure Data Manager für Energieinstanzen. Er ermöglicht es dem Benutzer, Dateien von der Datenplattform sicher hochzuladen, zu entdecken und herunterzuladen.
• Der Schemadienst erleichtert die Verwaltung von Schemas im Azure Data Manager für Energieinstanz. Er ermöglicht es dem Benutzer, Schemas in der Datenplattform zu erstellen, abzurufen und zu suchen.
• Der Speicherdienst erleichtert die Speicherung von Metadateninformationen für Domänenentitäten, die in die Datenplattform aufgenommen werden. Er löst außerdem Änderungsereignisse für Speicherdatensätze aus, die nachgelagerten Diensten das Ausführen von Vorgängen für erfasste Metadatensätze ermöglichen.
• Unit Service erleichtert die Verwaltung und Umwandlung von Einheiten
• Der Workflowdienst erleichtert die Verwaltung von Workflows in der Azure Data Manager für Energie Instanz. Er ist ein Wrapperdienst auf Basis des Airflow-Orchestrierungsmoduls.

Diagramm der CSV-Erfassungskomponenten

CSV-Parser-Erfassungsworkflow

Um den CSV-Parser-DAG-Workflow auszuführen, muss der Benutzer über ein gültiges Autorisierungstoken und entsprechenden Zugriff auf die folgenden Dienste verfügen: Suche, Speicher, Schema, Dateidienst, Berechtigung, Legal und Workflow.

Das folgende Workflowdiagramm veranschaulicht den CSV-Parser-DAG-Workflow:

Um den CSV-Parser-DAG-Workflow auszuführen, muss der Benutzer zuerst das Schema mithilfe des Workflowdiensts erstellen und registrieren. Nachdem das Schema erstellt wurde, verwendet der Benutzer dann den Dateidienst, um die CSV-Datei in den Microsoft Azure Data Manager für Energieinstanzen hochzuladen, und erstellt außerdem den Speicherdatensatz einer generischen Datei. Der Dateidienst stellt dem Benutzer dann eine Datei-ID bereit, die beim Auslösen des CSV-Parser-Workflows mithilfe des Workflowdiensts verwendet wird. Der Workflowdienst stellt eine Ausführungs-ID bereit, die der Benutzer verwenden kann, um den Status der CSV-Parser-Workflowausführung nachzuverfolgen.

OSDU® ist eine Marke von The Open Group.

Nächste Schritte

Wechseln Sie zum CSV-Parser-Lernprogramm und erfahren Sie, wie Sie eine CSV-Datenaufbereitung durchführen.