Flujo de datos con parámetros Gen2

Los parámetros de Fabric Dataflow Gen2 permiten definir entradas reutilizables que dan forma a cómo se ha diseñado un flujo de datos y, con el modo de parámetros públicos , esas entradas se pueden establecer en tiempo de ejecución a través de canalizaciones o API. Hace que un único flujo de datos sea muy flexible y versátil, ya que puede reutilizar la misma lógica en muchos escenarios simplemente pasando valores diferentes, lo que permite flujos de trabajo dinámicos y automatizados sin necesidad de volver a escribir ni duplicar las transformaciones.

Este tutorial le guía a través de un ejemplo que muestra cómo:

• Parametrizar un origen: uso de una instancia de Lakehouse con el conjunto de datos de ejemplo WideWorldImpoters como origen
• Lógica de parametrización: uso de los widgets de entrada disponibles en toda la experiencia de flujo de datos
• Parametrizar destino: Uso de un almacén como destino
• Enviar una solicitud de ejecución con valores de parámetro: pasar valores de parámetro a través de la experiencia de actividad de flujo de datos dentro de una canalización de Fabric

Escenario

El flujo de datos usado en este escenario es sencillo, pero los principios básicos descritos se aplican a todos los tipos de flujos de datos. Se conecta a la tabla denominada dimension_city del conjunto de datos de ejemplo Wide World Importers almacenado en una instancia de Lakehouse. Filtra las filas en las que la columna SalesTerritory es igual al Sudeste y carga el resultado en una nueva tabla denominada City en un almacén. Todos los componentes (Lakehouse, Warehouse y Dataflow) se encuentran en la misma área de trabajo. Para que el flujo de datos sea dinámico, parametrice la tabla de origen, el valor de filtro y la tabla de destino. Estos cambios permiten que el flujo de datos se ejecute con valores específicos en lugar de con valores codificados de forma rígida.

Antes de continuar, para habilitar el modo de parámetros públicos, vaya a la pestaña Inicio , seleccione Opciones y, en la sección Parámetros , active la casilla Habilitar parámetros para que se detecten e invaliden para su ejecución y permitan que el flujo de datos acepte parámetros durante la ejecución.

Parametrizar origen

Cuando se usa cualquiera de los conectores de Fabric( como Lakehouse, Warehouse o Fabric SQL), todos siguen la misma estructura de navegación y usan el mismo formato de entrada. En este escenario, ninguno de los conectores requiere una entrada manual para establecer una conexión. Sin embargo, cada uno indica a qué área de trabajo y elemento está conectado mediante los pasos de navegación de la consulta. Por ejemplo, el primer paso de navegación incluye el workspaceId al que se conecta la consulta.

El objetivo es reemplazar los valores codificados de forma rígida en la barra de fórmulas por parámetros. En concreto, debe crear un parámetro para WorkspaceId y otro para LakehouseId. Para crear parámetros, vaya a la pestaña Inicio de la cinta de opciones, seleccione Administrar parámetros y elija Nuevo parámetro en el menú desplegable.

Al crear los parámetros, asegúrese de que ambos están marcados como obligatorios y establecidos en el tipo de texto . Para sus valores actuales, use los que coincidan con los valores correspondientes de su entorno específico.

Una vez creados ambos parámetros, puede actualizar el script de consulta para usarlos en lugar de valores codificados de forma rígida. Esto implica reemplazar manualmente los valores originales de la barra de fórmulas por referencias a los parámetros Workspace ID y Lakehouse ID. El script de consulta original tiene este aspecto:

let
  Source = Lakehouse.Contents([]),
  #"Navigation 1" = Source{[workspaceId = "8b325b2b-ad69-4103-93ae-d6880d9f87c6"]}[Data],
  #"Navigation 2" = #"Navigation 1"{[lakehouseId = "2455f240-7345-4c8b-8524-c1abbf107d07"]}[Data],
  #"Navigation 3" = #"Navigation 2"{[Id = "dimension_city", ItemKind = "Table"]}[Data],
  #"Filtered rows" = Table.SelectRows(#"Navigation 3", each ([SalesTerritory] = "Southeast")),
  #"Removed columns" = Table.RemoveColumns(#"Filtered rows", {"ValidFrom", "ValidTo", "LineageKey"})
in
  #"Removed columns"

Una vez que actualice las referencias en los pasos de navegación, el nuevo script actualizado podría tener este aspecto:

let
  Source = Lakehouse.Contents([]),
  #"Navigation 1" = Source{[workspaceId = WorkspaceId]}[Data],
  #"Navigation 2" = #"Navigation 1"{[lakehouseId = LakehouseId]}[Data],
  #"Navigation 3" = #"Navigation 2"{[Id = "dimension_city", ItemKind = "Table"]}[Data],
  #"Filtered rows" = Table.SelectRows(#"Navigation 3", each ([SalesTerritory] = "Southeast")),
  #"Removed columns" = Table.RemoveColumns(#"Filtered rows", {"ValidFrom", "ValidTo", "LineageKey"})
in
  #"Removed columns"

Y observa que sigue evaluando correctamente la vista previa de los datos en el editor de flujo de datos.

Parametrizar lógica

Ahora que el origen usa parámetros, puede centrarse en parametrizar la lógica de transformación del flujo de datos. En este escenario, el paso de filtro es donde se aplica la lógica y el valor que se va a filtrar, actualmente codificado como Sudeste, debe reemplazarse por un parámetro . Para ello, cree un nuevo parámetro denominado Territory, establezca su tipo de datos en texto, lo marque como no necesario y establezca su valor actual en Mideast.

Dado que el paso de filtro se creó mediante la interfaz de usuario, puede dirigirse al paso Filas filtradas, haga doble clic en él y abrir el cuadro de diálogo de configuración del paso de filtro. Este cuadro de diálogo le permite seleccionar, a través del widget de entrada, si desea usar un parámetro en lugar de un valor estático:

Después de seleccionar la opción Seleccionar un parámetro, aparecerá una lista desplegable para mostrar todos los parámetros disponibles que coincidan con el tipo de datos necesario. En esta lista, puede seleccionar el parámetro Territory recién creado.

Una vez que seleccione Aceptar, observe que la vista de diagrama ya ha creado el vínculo entre el parámetro recién creado y la consulta en uso. No solo eso, sino que la vista previa de datos ahora muestra información sobre el territorio de Mideast .

Parametrizar destino

El último componente que se va a parametrizar en este escenario es el destino. Para ello, use la característica de edición avanzada para consultas de destino de datos , que permite modificar el script de consulta de destino directamente en el editor de flujo de datos mediante código M de Power Query.

Antes de empezar, cree un parámetro con el nombre WarehouseId. Asegúrese de usar el identificador correspondiente de su Almacén como valor actual, configúrelo como obligatorio y establezca el tipo de datos en texto.

Habilitación de la edición avanzada para consultas de destino de datos

Para modificar la consulta de destino directamente en el editor de flujo de datos, primero debe habilitar la característica de edición avanzada:

1. Seleccione Opciones en la pestaña Inicio de la cinta de opciones.

2. En el cuadro de diálogo Opciones , desplácese hacia abajo hasta la sección Destinos de datos .

3. Seleccione la casilla para Habilitar edición avanzada para consultas de destino de datos.

4. Aparece un cuadro de diálogo de advertencia que explica que modificar las consultas de destino puede provocar un comportamiento inesperado o interrumpir el flujo de datos. Lea cuidadosamente la advertencia y seleccione Aceptar para confirmar.

5. Seleccione Aceptar para cerrar el cuadro de diálogo Opciones.

Modificación de la consulta de destino

Después de habilitar la edición avanzada, puede acceder a la consulta de destino y modificarla para el destino de los datos:

1. En el panel Consultas , busque la sección de destino de datos que muestra los destinos configurados.

2. Haga clic con el botón derecho en la consulta de destino denominada dimension_city.

3. En el menú contextual, seleccione Editor avanzado.

La consulta de destino tiene el siguiente aspecto:

let
  Pattern = Fabric.Warehouse([HierarchicalNavigation = null, CreateNavigationProperties = false]),
  Navigation_1 = Pattern{[workspaceId = "8b325b2b-ad69-4103-93ae-d6880d9f87c6"]}[Data],
  Navigation_2 = Navigation_1{[warehouseId = "527ba9c1-4077-433f-a491-9ef370e9230a"]}[Data],
  TableNavigation = Navigation_2{[Item = "City", Schema = "dbo"]}?[Data]?
in
  TableNavigation

De forma similar al script de origen de Lakehouse, este script para el destino tiene un patrón similar en el que codifica de forma fija el workspaceId y el warehouseId. Reemplace esos valores fijos por los identificadores de los parámetros y el script tiene el siguiente aspecto:

let
  Pattern = Fabric.Warehouse([HierarchicalNavigation = null, CreateNavigationProperties = false]),
  Navigation_1 = Pattern{[workspaceId = WorkspaceId]}[Data],
  Navigation_2 = Navigation_1{[warehouseId = WarehouseId]}[Data],
  TableNavigation = Navigation_2{[Item = "City", Schema = "dbo"]}?[Data]?
in
  TableNavigation

Seleccione Aceptar para guardar los cambios en el editor avanzado.

Puede comprobar que todos los cambios están en vigor revisando el destino de los datos y las referencias de parámetros anteriores que se agregaron. Esto finaliza toda la parametrización del flujo de datos y ahora puede pasar a ejecutar el flujo de datos pasando los valores de parámetro para su ejecución.

Ejecutar solicitud con valores de parámetro

Puede usar la API REST de Fabric para enviar una solicitud de ejecución con una carga personalizada que contenga los valores de parámetro para esa operación de ejecución específica y también puede usar la API REST para detectar parámetros de flujo de datos y comprender lo que espera el flujo de datos para que pueda desencadenar una ejecución. En este tutorial, vas a utilizar la experiencia que se encuentra en la actividad de flujo de datos para tuberías de Fabric. Empiece por crear una canalización y agregue una nueva actividad de flujo de datos al lienzo. En la configuración de la actividad, busque el área de trabajo donde se encuentra el flujo de datos y, a continuación, seleccione el flujo de datos en la lista desplegable.

Se puede expandir una sección de parámetros de flujo de datos para mostrar todos los parámetros disponibles en el flujo de datos y sus valores predeterminados. Puede reemplazar cualquier valor aquí, y los valores pasados se usarán para definir qué orígenes, lógica y destino deben usarse para evaluar la ejecución del flujo de datos. También puede intentar nuevos escenarios creando un nuevo almacén y cambiando el WarehouseId para la evaluación o utilizando este patrón en una canalización de implementación donde se deben pasar el WorkspaceId y otros parámetros para señalar los elementos correctos en el entorno correspondiente.