Referentie voor pijplijnontwikkelaars

Deze sectie bevat naslaginformatie en instructies voor pijplijnontwikkelaars.

Gegevens laden en transformaties worden geïmplementeerd in pijplijnen middels query's die streaming-tabellen en gematerialiseerde views definiëren. Als u deze query's wilt implementeren, ondersteunt Lakeflow Spark-declaratieve pijplijnen SQL- en Python-interfaces. Omdat deze interfaces gelijkwaardige functionaliteit bieden voor de meeste gebruiksscenario's voor gegevensverwerking, kunnen pijplijnontwikkelaars de interface kiezen waarmee ze het meest vertrouwd zijn.

Python ontwikkeling

Pijplijnen maken met Python code.

Onderwerp Description
Pijplijncode ontwikkelen met Python Een overzicht van het ontwikkelen van pijplijnen in Python.
Lakeflow Spark-declaratieve pijplijnen Python taalreferentie Python referentiedocumentatie voor de module pipelines.
Beheer Python afhankelijkheden voor pijplijnen Instructies voor het beheren van Python bibliotheken in pijplijnen.
Importeer Python modules uit Git-mappen of werkruimtebestanden Instructies voor het gebruik van Python modules die u hebt opgeslagen in Azure Databricks.

SQL-ontwikkeling

Pijplijnen maken met behulp van SQL-code.

Onderwerp Description
Code voor declaratieve pijplijnen voor Lakeflow Spark ontwikkelen met SQL Een overzicht van het ontwikkelen van pijplijnen in SQL.
SQL-taalreferentie voor pipelines Referentiedocumentatie voor SQL-syntaxis voor Lakeflow Spark-declaratieve pijplijnen.
Pijplijnen gebruiken in Databricks SQL Databricks SQL gebruiken om te werken met pijplijnen.

Andere ontwikkelonderwerpen

In de volgende onderwerpen worden verschillende manieren beschreven om pijpleidingen te ontwikkelen.

Onderwerp Description
Een pijplijn converteren naar een bundelproject Converteer een bestaande pijplijn naar een bundel, waarmee u uw gegevensverwerkingsconfiguratie in een door bron beheerd YAML-bestand kunt beheren voor eenvoudiger onderhoud en geautomatiseerde implementaties naar doelomgevingen.
Metaprogrammering met Lakeflow Spark-declaratieve pijplijnen Pijplijnen maken met dlt-meta. Gebruik de bibliotheek open source dlt-meta om het maken van pijplijnen te automatiseren met een framework op basis van metagegevens.
Zelfstudie: Meerdere stromen met verschillende parameters maken. Maak meerdere stromen in een lus in Python.
Pijplijncode ontwikkelen in uw lokale ontwikkelomgeving Een overzicht van opties voor het lokaal ontwikkelen van pijplijnen.
  • Last updated on