Compartilhar via

Desenvolver código de pipeline em seu ambiente de desenvolvimento local

Você pode criar o código-fonte do pipeline em Python no seu IDE (ambiente de desenvolvimento integrado) preferido.

Você não pode validar ou executar atualizações no código de pipeline escrito em um IDE. Você deve implantar arquivos de código-fonte novamente em um workspace Azure Databricks e configurá-los como parte de um pipeline.

Este artigo fornece uma visão geral do suporte para o desenvolvimento de IDE local. Para desenvolvimento e teste mais interativos, o Databricks recomenda usar o Editor de Pipelines do Lakeflow. Confira Desenvolver e depurar pipelines de ETL com o Editor do Lakeflow Pipelines.

Configurar um IDE local para desenvolvimento de pipeline

O Databricks fornece um módulo Python para desenvolvimento local distribuído por meio do PyPI. Para obter instruções de instalação e uso, consulte Python stub para DLT.

Este módulo tem as interfaces e as referências de docstring para a interface de Python de pipeline, fornecendo verificação de sintaxe, preenchimento automático e verificação de tipo de dados enquanto você escreve código em seu IDE.

Este módulo inclui interfaces, mas nenhuma implementação funcional. Você não pode usar essa biblioteca para criar ou executar pipelines localmente.

Você pode usar Pacotes de Automação Declarativa para empacotar e implantar o código-fonte e configurações em um workspace de destino e disparar a execução de uma atualização em um pipeline configurado dessa forma. Consulte Converter um pipeline em um projeto de pacote.

A extensão do Databricks para Visual Studio Code tem funcionalidade adicional para trabalhar com pipelines usando Pacotes de Automação Declarativa. Confira Gerenciador de Recursos do Pacote.

Sincronizar código de pipeline do seu IDE para um workspace

A tabela a seguir resume as opções para sincronizar o código-fonte do pipeline entre o IDE local e um workspace Azure Databricks:

Ferramenta ou padrão Detalhes
Pacotes de Automação Declarativa Use Pacotes de Automação Declarativa para implantar ativos de pipeline que variam em complexidade, desde um único arquivo de código-fonte até configurações para vários pipelines, trabalhos e arquivos de código-fonte. Consulte Converter um pipeline em um projeto de pacote.
Extensão do Databricks para Visual Studio Code Azure Databricks fornece uma integração com Visual Studio Code que inclui sincronização fácil entre o IDE local e os arquivos do workspace. Essa extensão também fornece ferramentas para usar Pacotes de Automação Declarativa para implantar ativos de pipelines. Consulte a extensão Databricks para Visual Studio Code.
Arquivos de espaço de trabalho Você pode usar arquivos da área de trabalho do Databricks para fazer upload do código-fonte do seu pipeline para o espaço de trabalho do Databricks e, em seguida, importar esse código para um pipeline. Veja o que são arquivos de workspace?.
Pastas do Git As pastas git permitem sincronizar o código entre seu ambiente local e Azure Databricks workspace usando um repositório Git como intermediário. Consulte Azure Databricks pastas Git.
  • Last updated on