Visión general del recurso de captura de cambios de datos

SE APLICA A: Azure Data Factory Azure Synapse Analytics

Sugerencia

Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.

Adaptarse al mundo de los macrodatos “primero en la nube” puede ser increíblemente difícil para los ingenieros de datos que se encargan de crear canalizaciones ETL e integraciones de datos complejas.

Azure Data Factory está introduciendo un nuevo mecanismo para facilitar la vida de un ingeniero de datos.

Al detectar automáticamente los cambios de datos en el origen sin necesidad de un diseño o una codificación complejos, ADF facilita enormemente la escalabilidad de estos procesos. La captura de datos modificados ahora existirá como un nuevo recurso nativo de nivel superior en el estudio de Azure Data Factory donde los ingenieros de datos pueden configurar rápidamente trabajos en ejecución continua para procesar macrodatos a gran escala con una eficacia extrema.

El nuevo recurso de Change Data Capture en ADF permite capturar datos modificados con fidelidad completa, con una ejecución continua y casi en tiempo real mediante una experiencia de configuración guiada.

Captura de pantalla del nuevo recurso de nivel superior en el panel Recursos de fábrica.

Nota:

El recurso De captura de datos modificados en Azure Data Factory está actualmente en versión preliminar pública

Orígenes de datos admitidos

  • Avro
  • Azure Cosmos DB (API de SQL)
  • Azure SQL Database
  • Azure SQL Managed Instance
  • Texto delimitado
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Destinos admitidos

  • Avro
  • Azure SQL Database
  • Instancia Administrada de SQL
  • Texto delimitado
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Restricciones conocidas

  • Actualmente, al crear asignaciones de origen o de destino, solo se permite usar una vez cada origen y destino.
  • Actualmente no se admiten los tipos complejos.
  • Actualmente, el entorno de ejecución de integración autoalojado (SHIR) no es compatible.

Para más información sobre las limitaciones conocidas y la ayuda para solucionar problemas, consulte esta guía de solución de problemas.

Azure Synapse Analytics como destino

Al usar Azure Synapse Analytics como destino, el Staging Settings está disponible en el lienzo de la tabla principal. La habilitación del almacenamiento provisional es obligatoria al seleccionar Azure Synapse Analytics como destino. Esto mejora significativamente el rendimiento de escritura mediante la capacidad de carga masiva eficaz, como el comando COPY INTO. La Configuración de almacenamiento provisional se puede configurar de dos maneras: usando la Configuración de fábrica u optando por una Configuración personalizada. La Configuración de fábrica se aplica en el nivel de fábrica. La primera vez, si estos ajustes no están configurados, se le dirigirá a la sección de configuración de almacenamiento provisional global para su configuración. Una vez configurados, todos los recursos de nivel superior CDC adoptarán esta configuración. La Configuración personalizada solo tiene como ámbito el recurso CDC para el que está configurado e invalida la Configuración de fábrica.

Nota:

A medida que utilizamos el comando COPY INTO para transferir datos de la ubicación de almacenamiento provisional a Azure Synapse Analytics, es aconsejable asegurarse de que todos los permisos necesarios están preconfigurados dentro de Azure Synapse Analytics.

Nota:

Siempre usamos la última configuración publicada al iniciar una CDC. Para ejecutar CDC, mientras se procesan los datos, se le facturarán 4 núcleos virtuales de flujos de datos de uso general.