Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Esta seção contém referência e instruções para desenvolvedores de pipeline.
O carregamento de dados e as transformações são implementados em pipelines por consultas que definem tabelas de fluxo e visões materializadas. Para implementar essas consultas, o Lakeflow Spark Declarative Pipelines dá suporte a interfaces SQL e Python. Como essas interfaces fornecem funcionalidade equivalente para a maioria dos casos de uso de processamento de dados, os desenvolvedores de pipeline podem escolher a interface com a qual estão mais confortáveis.
desenvolvimento Python
Crie pipelines usando código Python.
| Tópico | Description |
|---|---|
| Develop pipeline code with Python | Uma visão geral do desenvolvimento de pipelines no Python. |
| Lakeflow Spark Declarative Pipelines referência de linguagem do Python | Documentação de referência do módulo pipelines do Python. |
| Gerenciar dependências de Python para pipelines | Instruções para gerenciar bibliotecas de Python em pipelines. |
| Importar módulos Python de pastas Git ou arquivos de Workspace | Instruções para usarem os módulos Python armazenados no Azure Databricks. |
Desenvolvimento do SQL
Crie pipelines usando o código SQL.
| Tópico | Description |
|---|---|
| Desenvolver código do Lakeflow Spark Declarative Pipelines com SQL | Uma visão geral do desenvolvimento de pipelines no SQL. |
| Referência da linguagem SQL do pipeline | Documentação de referência sobre a sintaxe SQL para pipelines declarativos do Lakeflow Spark. |
| Usar pipelines no DATAbricks SQL | Use o DATAbricks SQL para trabalhar com pipelines. |
Outros tópicos de desenvolvimento
Os tópicos a seguir descrevem outras maneiras de desenvolver pipelines.
| Tópico | Description |
|---|---|
| Converter um pipeline em um projeto de agrupamento | Converta um pipeline existente em um pacote, o que permite que você gerencie sua configuração de processamento de dados em um arquivo YAML controlado pela origem para facilitar a manutenção e implantações automatizadas em ambientes de destino. |
| Metaprogramação com pipelines declarativos do Lakeflow Spark |
Crie pipelines com dlt-meta. Use a biblioteca código aberto dlt-meta para automatizar a criação de pipelines com uma estrutura orientada por metadados.Tutorial: Criar vários fluxos com parâmetros diferentes. Crie vários fluxos em um loop em Python. |
| Desenvolver código de pipeline em seu ambiente de desenvolvimento local | Uma visão geral das opções para desenvolver pipelines localmente. |