Cómo crear una preparación de datos visuales en el Diseñador de Lakeflow

Lakeflow Designer le permite crear flujos de trabajo de transformación de datos en un lienzo visual, de arrastrar y colocar. En esta página se explica cómo crear una preparación de datos visual, desde agregar un origen de datos y encadenar operadores, hasta obtener una vista previa de los resultados y escribir en Unity Catalog.

Para crear una preparación de datos visual:

1. Comprobación de los requisitos
2. Crear una preparación visual de datos
3. Agregar un origen de datos
4. Adición y configuración de operadores
5. Operadores de conexión
6. Vista previa de los resultados
7. Escribir resultados en el catálogo de Unity
8. Programar o ejecutar en producción

Requisitos

Para usar Lakeflow Designer, debe tener:

• Un área de trabajo de Azure Databricks con Unity Catalog habilitado.
• CAN USE permiso en al menos un recurso de proceso (ya sea sin servidor o de uso completo).
• Azure Databricks características de asistencia con IA habilitadas. Si un modelo no está disponible en su región, es posible que también tenga que habilitar el procesamiento entre regiones.

Crear una nueva preparación visual de datos

Para crear una nueva preparación de datos visuales, haga clic en Nuevo en la barra lateral y seleccione Preparación de datos visuales.

El Diseñador se abre con una pantalla de bienvenida donde puedes agregar una fuente de datos o explorar un ejemplo de preparación visual de datos.

Adición de un origen de datos

Cada flujo de trabajo del Diseñador comienza con uno o varios orígenes de datos. El operador Source representa un origen de datos en el lienzo.

Para agregar un origen de datos:

1. Agregue un operador Source. En la pantalla de bienvenida, haga clic en Seleccionar operador de origen. En el lienzo, abra el menú del operador y seleccione Origen.
2. En el panel Configuración de origen, elija cómo incorporar los datos. Puede buscar una tabla existente, cargar un archivo CSV local o Excel, crear una tabla a partir de un archivo o importar desde Google Drive o SharePoint.
3. Seleccione o configure el origen de datos. El operador Source aparece en el lienzo.

También puede arrastrar y colocar un archivo CSV o Excel directamente en el lienzo para crear rápidamente un operador source.

Para cambiar el origen más adelante, abra el operador Source y haga clic en Seleccionar un nuevo origen de datos. Al cambiar el origen, se invalida la caché de salida para todos los operadores posteriores.

Para obtener los detalles completos sobre cada opción de ingesta, consulte Ingesta de datos en Lakeflow Designer.

Adición y configuración de operadores

Para agregar un operador, abra el menú del operador en el panel lateral del lado izquierdo del lienzo. Haga clic en un operador para agregarlo al lienzo o arrastre un operador desde el menú al lienzo. También puede hacer clic en el + botón situado junto a cualquier operador existente para agregar un operador nuevo con una conexión automática.

Para configurar un operador, haga doble clic en él o mantenga presionado el puntero sobre él y haga clic en (Operador Editar) para abrir el panel de configuración. Establezca las opciones de ese tipo de operador y haga clic en Aplicar.

Para obtener más información sobre cada operador disponible, consulte Operadores integrados en Lakeflow Designer.

Operadores de conexión

Para conectar dos operadores, haga clic y arrastre desde el controlador de salida (el círculo pequeño en el borde derecho de un operador) al identificador de entrada (el círculo pequeño en el borde izquierdo del operador siguiente). Esto especifica que los datos fluyen del primer operador al segundo. Los datos fluyen de izquierda a derecha a través de la preparación de datos visuales.

Algunos operadores, como Join y Combine, aceptan varias entradas.

Uso de Genie Code

En cualquier momento durante la edición en Lakeflow Designer, puede crear mensajes para Genie Code para ayudarle.

Al usar Genie Code, los botones siguientes proporcionan funcionalidad adicional:

• : carga una imagen que se va a usar como parte del mensaje.
• : utilícelo para mencionar objetos, como tablas o archivos, para utilizarlos como parte de la instrucción.
• : inicia un nuevo subproceso de chat con el nuevo contexto del agente.
• : abre el panel lateral del historial de conversaciones y una vista más detallada de lo que hace el agente.

Vista previa de los resultados

Seleccione cualquier operador para ver los resultados en el panel de salida en la parte inferior de la pantalla. Para la mayoría de los tipos de operador, los datos de entrada están a la izquierda y los datos de salida están a la derecha.

De forma predeterminada, los operadores se ejecutan en una muestra de los datos de hasta 1,000 filas. Para ejecutar con el conjunto de datos completo, haga clic en Conjunto de datos de ejemplo en el panel de salida y cambie a Conjunto de datos completo.

Generación de perfiles de datos

En el panel de salida, puede optar por mostrar los detalles de los datos en su salida. En la esquina superior derecha del panel de salida, elija el para abrir los detalles de la selección. Seleccione un subconjunto de los datos para ver detalles sobre la selección.

Escribir resultados en el catálogo de Unity

Agregue un operador Output para escribir los resultados en una tabla en el catálogo de Unity:

1. Abra el menú del operador y seleccione Salida, o haga clic + junto al último operador y seleccione Salida.
2. Conecte el identificador de salida de la última transformación al identificador de entrada del operador Output si aún no está conectado.
3. Haga doble clic en el operador Output (Salida ) para abrir su panel de configuración.
4. Escriba un nombre de tabla y seleccione la ubicación de salida (catálogo y esquema).
5. Haga clic en Ejecutar.

Programación o ejecución en producción

Puede automatizar los flujos de trabajo programandolos como trabajos.

• Programar directamente: haga clic en el botón Programar del menú superior para crear un trabajo programado para la preparación de datos visuales.
• Agregar a un trabajo: cree un trabajo de Azure Databricks y elija la preparación de datos visuales del diseñador como tarea. Esto le permite combinar esa preparación visual de datos con otras tareas en una canalización más amplia.

Sugerencias adicionales al trabajar en el lienzo

Las siguientes acciones están disponibles en el lienzo para ayudarle a editar la preparación de datos visuales.

• Cambiar el nombre de un operador: haga clic en el campo de texto de la parte superior de cualquier panel de configuración para cambiar el nombre del operador. Los nombres descriptivos facilitan la comprensión de tu preparación visual de datos de un vistazo. Algunos operadores, como el operador SQL, pueden hacer referencia a la salida de otros operadores por nombre.
• Copiar un operador: mantenga presionado el puntero sobre un operador y haga clic en O bien seleccione un operador y presione Cmd/Ctrl+C y, a continuación, Cmd/Ctrl+V.
• Diseño automático: haga clic en En la barra de herramientas inferior izquierda para organizar automáticamente todos los operadores en un diseño compacto.
• Ajustar vista: haga clic en En la barra de herramientas inferior izquierda para ver todos los operadores en la ventanilla actual.
• Deshacer y rehacer: Presione Cmd/Ctrl+Z y Cmd/Ctrl+Mayús+Z, o utilice los botones en la barra de herramientas superior.

Pasos siguientes

• Ingesta de datos en Lakeflow Designer
• Operadores integrados en Lakeflow Designer