Como criar uma preparação de dados visuais no Lakeflow Designer

O Lakeflow Designer permite criar fluxos de trabalho de transformação de dados em uma tela visual, arrastar e soltar. Esta página explica como criar uma preparação visual de dados, desde a adição de uma fonte de dados e o encadeamento de operadores até a visualização dos resultados e a gravação no Unity Catalog.

Para criar uma preparação visual de dados:

1. Verificar os requisitos
2. Criar uma preparação visual de dados
3. Adicionar uma fonte de dados
4. Adicionar e configurar operadores
5. Conectar operadores
6. Visualizar resultados
7. Gravar resultados no Catálogo do Unity
8. Agendar ou executar em produção

Requirements

Para usar o Lakeflow Designer, você deve ter:

• Um workspace do Azure Databricks com o Unity Catalog habilitado.
• CAN USE permissão em pelo menos um recurso de computação (sem servidor ou de uso geral).
• Azure Databricks recursos assistenciais de IA enabled. Se um modelo não estiver disponível em sua região, talvez você também precise habilitar o processamento entre áreas geográficas.

Criar uma nova preparação de dados do Visual

Para criar uma nova preparação de dados visuais, clique no Novo na barra lateral e selecione Preparação de dados visuais.

O Designer abre com uma tela de boas-vindas em que você pode adicionar uma fonte de dados ou explorar um exemplo de preparação visual de dados.

Adicionar uma fonte de dados

Cada fluxo de trabalho do Designer começa com uma ou mais fontes de dados. O operador de origem representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicionar um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem. Na tela, abra o menu do operador e selecione Origem.
2. No painel Configuração de origem, escolha como trazer seus dados. Você pode procurar uma tabela existente, carregar um CSV local ou Excel arquivo, criar uma tabela a partir de um arquivo ou importar do Google Drive ou SharePoint.
3. Selecione ou configure sua fonte de dados. O operador de origem aparece na tela.

Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.

Para alterar a origem posteriormente, abra o operador De origem e clique em Selecionar uma nova fonte de dados. Alterar a origem invalida o cache de saída para todos os operadores downstream.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingestão de dados no Lakeflow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral no lado esquerdo da tela. Clique em um operador para adicioná-lo ao painel ou arraste um operador do menu para o painel. Você também pode clicar no + botão ao lado de qualquer operador existente para adicionar um novo operador com uma conexão automática.

Para configurar um operador, clique duas vezes nele ou segure o ponteiro sobre ele e clique no (Operador Editar) para abrir o painel de configuração. Defina as opções para esse tipo de operador e clique em Aplicar.

Para obter detalhes sobre cada operador disponível, consulte operadores internos no Lakeflow Designer.

Conectar operadores

Para conectar dois operadores, clique e arraste do identificador de saída (o pequeno círculo na borda direita de um operador) para o identificador de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita através da ferramenta de preparação visual de dados.

Alguns operadores, como Join e Combine, aceitam várias entradas.

Usar Código Genial

A qualquer momento durante a edição no Lakeflow Designer, você pode criar prompts para o Genie Code para ajudar.

Ao usar o Genie Code, os seguintes botões fornecem funcionalidade adicional:

• : carrega uma imagem a ser usada como parte do prompt.
• : Utilize para mencionar objetos, como tabelas ou arquivos, como parte do prompt.
• : inicia um novo thread de chat com o novo contexto do agente.
• : abre o painel lateral para o histórico de conversas e uma exibição mais detalhada do que o agente está fazendo.

Visualizar resultados

Selecione qualquer operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada estão à esquerda e os dados de saída estão à direita.

Por padrão, os operadores são executados em uma amostra dos dados de até 1.000 linhas. Para executar com o conjunto de dados completo, clique em Exemplo de conjunto de dados no painel de saída e alterne para o conjunto de dados Completo.

Criação de perfil de dados

No painel de saída, você pode optar por mostrar detalhes dos dados na saída. No canto superior direito do painel de saída, escolha o ícone barra lateral Botão barra lateral para abrir os detalhes da seleção. Selecione um subconjunto de seus dados para ver detalhes sobre sua seleção.

Gravar resultados no Catálogo do Unity

Adicione um operador de saída para gravar seus resultados em uma tabela no Catálogo do Unity:

1. Abra o menu do operador e selecione Saída ou clique + ao lado do último operador e selecione Saída.
2. Conecte o identificador de saída da última transformação ao identificador de entrada do operador de saída se ainda não estiver conectado.
3. Clique duas vezes no operador De saída para abrir seu painel de configuração.
4. Digite um nome de tabela e selecione o local de saída (catálogo e esquema).
5. Clique em Executar.

Agendar ou executar em produção

Você pode automatizar seus fluxos de trabalho agendando-os como trabalhos.

• Agende diretamente: clique no botão Agendar no menu superior para criar um trabalho agendado para sua preparação de dados visuais.
• Add a um trabalho: crie um trabalho Azure Databricks e escolha a preparação de dados do Designer Visual como uma tarefa. Isso permite combinar essa preparação de dados visuais com outras tarefas em um pipeline maior.

Dicas adicionais ao trabalhar na tela

As ações a seguir estão disponíveis na tela para ajudá-lo a editar sua preparação de dados visuais.

• Renomeie um operador: clique no campo de texto na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam mais fácil o entendimento rápido da preparação visual de dados. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
• Copie um operador: segure o ponteiro sobre um operador e clique em , ou selecione um operador e pressione Cmd/Ctrl+C e, em seguida, Cmd/Ctrl+V.
• Layout automático: Clique no ícone horizontal do DAG na barra de ferramentas inferior esquerda para organizar automaticamente todos os operadores em um layout compacto.
• Ajustar visão: clique em na barra de ferramentas inferior esquerda para ver todos os operadores no visor atual.
• Desfazer e refazer: pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z ou use os botões na barra de ferramentas superior.

Próximas Etapas 

• Ingerir dados no Lakeflow Designer
• Operadores integrados no Lakeflow Designer