Referens för utvecklare av pipelines

Det här avsnittet innehåller referenser och instruktioner för pipelineutvecklare.

Datainläsning och transformeringar implementeras i pipelines av frågor som definierar strömmande tabeller och materialiserade vyer. För att implementera dessa förfrågningar stöder Lakeflow Spark Deklarativa Pipelines SQL- och Python-gränssnitt. Eftersom dessa gränssnitt ger motsvarande funktioner för de flesta användningsfall för databearbetning kan pipelineutvecklare välja det gränssnitt som de är mest bekväma med.

Python utveckling

Skapa pipelines med hjälp av Python kod.

Ämne Description
Utveckla pipelinekod med Python En översikt över hur du utvecklar pipelines i Python.
Lakeflow Spark Deklarativa pipeline Python-språkreferens Python referensdokumentation för modulen pipelines.
Hantera beroenden i Python för pipelines Instruktioner för att hantera Python bibliotek i pipelines.
Importera Python moduler från Git-mappar eller arbetsytefiler Instruktioner för att använda Python moduler som du har lagrat i Azure Databricks.

SQL-utveckling

Skapa pipelines med SQL-kod.

Ämne Description
Utveckla Lakeflow Spark Deklarativ pipelinekod med SQL En översikt över hur du utvecklar pipelines i SQL.
Sql-språkreferens för pipeline Referensdokumentation för SQL-syntax för Lakeflow Spark Deklarativa Pipelines.
Använd pipelines i Databricks SQL Använd Databricks SQL för att arbeta med pipelines.

Andra utvecklingsämnen

I följande avsnitt beskrivs andra sätt att utveckla pipelines.

Ämne Description
Konvertera en pipeline till ett paketprojekt Konvertera en befintlig pipeline till ett paket, vilket gör att du kan hantera databearbetningskonfigurationen i en källkontrollerad YAML-fil för enklare underhåll och automatiserade distributioner till målmiljöer.
Metaprogrammering med Lakeflow Spark Deklarativa Pipelines Skapa pipelines med dlt-meta. Använd biblioteket open source dlt-meta för att automatisera skapandet av pipelines med ett metadatadrivet ramverk.
Självstudie: Skapa flera flöden med olika parametrar. Skapa flera flöden i en loop i Python.
Utveckla pipelinekod i din lokala utvecklingsmiljö En översikt över alternativ för att utveckla pipelines lokalt.
  • Last updated on