Como criar uma preparação visual de dados no Lakeflow Designer

O Lakeflow Designer permite-lhe construir fluxos de trabalho de transformação de dados numa tela visual de arrastar e largar. Esta página explica como criar uma preparação visual de dados — desde adicionar uma fonte de dados e encadear operadores até pré-visualização de resultados e escrita no Unity Catalog.

Para construir uma preparação visual de dados:

1. Verificar os requisitos
2. Criar uma preparação visual de dados
3. Adicionar uma fonte de dados
4. Adicionar e configurar operadores
5. Operadores de conectividade
6. Pré-visualizar resultados
7. Escrever resultados no Unity Catalog
8. Agendar ou executar em produção

Requisitos

Para usar o Lakeflow Designer, deve ter:

• Um espaço de trabalho Azure Databricks com o Unity Catalog ativado.
• CAN USE Permissão em pelo menos um recurso de computação (seja serverless ou multiusos).
• Azure Databricks funcionalidades assistivas de IA ativadas. Se um modelo não estiver disponível na sua região, poderá também precisar de ativar o processamento cross-geo.

Criar uma nova preparação visual de dados

Para criar uma nova preparação de dados visuais, clique Novo na barra lateral e selecione preparação de dados visuais.

O Designer começa com um ecrã de boas-vindas onde pode adicionar uma fonte de dados ou explorar um exemplo de preparação de dados visuais.

Adicionar uma fonte de dados

Todo o fluxo de trabalho do Designer começa com uma ou mais fontes de dados. O operador Source representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicione um operador de Fonte. No ecrã de boas-vindas, clique em Selecionar operador de origem. A partir da tela, abra o menu do operador e selecione Fonte.
2. No painel de configuração da Fonte, escolha como importar os seus dados. Pode procurar uma tabela existente, carregar um ficheiro CSV ou Excel local, criar uma tabela a partir de um ficheiro ou importar do Google Drive ou SharePoint.
3. Selecione ou configure a sua fonte de dados. O operador Source aparece na tela.

Também pode arrastar e largar um ficheiro CSV ou Excel diretamente para a tela para criar rapidamente um operador Source.

Para alterar a fonte mais tarde, abra o operador Source e clique em Selecionar uma nova fonte de dados. Modificar a fonte invalida a cache de saída para todos os operadores a jusante.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingestão de dados no Lakeflow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral do lado esquerdo da tela. Clique num operador para o adicionar à tela, ou arraste um operador do menu para a tela. Também pode clicar no + botão ao lado de qualquer operador existente para adicionar um novo operador com ligação automática.

Para configurar um operador, clique duas vezes nele, ou mantenha o ponteiro sobre ele e clique (Editar operador), para abrir o painel de configuração. Defina as opções para esse tipo de operador e depois clique em Aplicar.

Para detalhes sobre cada operador disponível, consulte Operadores incorporados no Lakeflow Designer.

Operadores de conexão

Para ligar dois operadores, clique e arraste da alavanca de saída (o pequeno círculo na extremidade direita de um operador) até à alavanca de entrada (o pequeno círculo na extremidade esquerda do próximo operador). Isto especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita através do Visual data prep.

Alguns operadores, como Join e Combine, aceitam múltiplas entradas.

Use Código Genie

A qualquer momento enquanto editas no Lakeflow Designer, podes criar prompts para o Genie Code para ajudar.

Ao usar o Código Genie, os seguintes botões fornecem funcionalidades adicionais:

• : Carrega uma imagem para usar como parte do prompt.
• Use para mencionar objetos, como tabelas ou ficheiros, como parte do prompt.
• : Inicia um novo tópico de chat com o contexto do novo agente.
• : Abre o painel lateral para o histórico das conversas e uma visão mais detalhada do que o agente está a fazer.

Resultados de pré-visualização

Selecione qualquer operador para ver os resultados no painel de saída na parte inferior do ecrã. Para a maioria dos tipos de operadores, os dados de entrada estão à esquerda e os dados de saída à direita.

Por padrão, os operadores executam uma amostra dos dados de até 1.000 linhas. Para correr com o conjunto de dados completo, clique em Sample dataset no painel de saída e mude para Conjunto de dados completo.

Definição de perfis de dados

No painel de saída, pode escolher mostrar detalhes dos dados na sua saída. No canto superior direito do painel de saída, escolhe o botão da barra lateral para abrir os detalhes da seleção. Selecione um subconjunto dos seus dados para ver detalhes sobre a sua seleção.

Escrever resultados no Unity Catalog

Adicione um operador Output para escrever os seus resultados numa tabela no Unity Catalog:

1. Abra o menu do operador e selecione Saída, ou clique + ao lado do seu último operador e selecione Saída.
2. Liga a alavanca de saída da tua última transformação à alavanca de entrada do operador de saída , se ainda não estiver ligada.
3. Clique duas vezes no operador de Saída para abrir o seu painel de configuração.
4. Escreva o nome de uma tabela e selecione a localização de Saída (catálogo e esquema).
5. Clique em Executar.

Agendar ou executar em produção

Podes automatizar os teus fluxos de trabalho agendando-os como tarefas.

• Agendar diretamente: Clique no botão Agendar no menu superior para criar uma tarefa agendada para a preparação de dados visuais.
• Adicionar a um trabalho: Crie um trabalho Azure Databricks e escolha a preparação de dados visuais do Designer como tarefa. Isto permite-te combinar essa preparação de dados visuais com outras tarefas num pipeline maior.

Dicas adicionais ao trabalhar na tela

As seguintes ações estão disponíveis na tela para o ajudar a editar a preparação dos dados visuais.

• Renomear um operador: Clique no campo de texto no topo de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam a preparação dos dados visuais mais fácil de entender à primeira vista. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
• Copiar um operador: Segure o ponteiro sobre um operador e clique ou selecione um operador e pressione Cmd/Ctrl+C e depois Cmd/Ctrl+V.
• Disposição automática: Clique no na barra de ferramentas inferior esquerda para organizar automaticamente todos os operadores num layout compacto.
• Ajustar a vista: Clique no na barra de ferramentas inferior esquerda para ver todos os operadores na área de visualização atual.
• Desfazer e refazer: Pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z, ou use os botões na barra de ferramentas superior.

Passos seguintes

• Ingestão de dados no Lakeflow Designer
• Operadores incorporados no Lakeflow Designer