Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
SE APLICA A:
Azure Data Factory
Azure Synapse Analytics
Sugerencia
Data Factory en Microsoft Fabric es la próxima generación de Azure Data Factory, con una arquitectura más sencilla, inteligencia artificial integrada y nuevas características. Si no está familiarizado con la integración de datos, comience con Fabric Data Factory. Las cargas de trabajo de ADF existentes pueden actualizarse a Fabric para acceder a nuevas funcionalidades en ciencia de datos, análisis en tiempo real e informes.
Adaptarse al mundo de los macrodatos “primero en la nube” puede ser increíblemente difícil para los ingenieros de datos que se encargan de crear canalizaciones ETL e integraciones de datos complejas.
Azure Data Factory está introduciendo un nuevo mecanismo para facilitar la vida de un ingeniero de datos.
Al detectar automáticamente los cambios de datos en el origen sin necesidad de un diseño o una codificación complejos, ADF facilita enormemente la escalabilidad de estos procesos. La captura de datos modificados ahora existirá como un nuevo recurso nativo de nivel superior en el estudio de Azure Data Factory donde los ingenieros de datos pueden configurar rápidamente trabajos en ejecución continua para procesar macrodatos a gran escala con una eficacia extrema.
El nuevo recurso de Change Data Capture en ADF permite capturar datos modificados con fidelidad completa, con una ejecución continua y casi en tiempo real mediante una experiencia de configuración guiada.
Nota:
El recurso De captura de datos modificados en Azure Data Factory está actualmente en versión preliminar pública
Orígenes de datos admitidos
- Avro
- Azure Cosmos DB (API de SQL)
- Azure SQL Database
- Azure SQL Managed Instance
- Texto delimitado
- JSON
- ORC
- Parquet
- SQL Server
- XML
- Snowflake
Destinos admitidos
- Avro
- Azure SQL Database
- Instancia Administrada de SQL
- Texto delimitado
- Delta
- JSON
- ORC
- Parquet
- Azure Synapse Analytics
Restricciones conocidas
- Actualmente, al crear asignaciones de origen o de destino, solo se permite usar una vez cada origen y destino.
- Actualmente no se admiten los tipos complejos.
- Actualmente, el entorno de ejecución de integración autoalojado (SHIR) no es compatible.
Para más información sobre las limitaciones conocidas y la ayuda para solucionar problemas, consulte esta guía de solución de problemas.
Azure Synapse Analytics como destino
Al usar Azure Synapse Analytics como destino, el Staging Settings está disponible en el lienzo de la tabla principal. La habilitación del almacenamiento provisional es obligatoria al seleccionar Azure Synapse Analytics como destino. Esto mejora significativamente el rendimiento de escritura mediante la capacidad de carga masiva eficaz, como el comando COPY INTO. La Configuración de almacenamiento provisional se puede configurar de dos maneras: usando la Configuración de fábrica u optando por una Configuración personalizada. La Configuración de fábrica se aplica en el nivel de fábrica. La primera vez, si estos ajustes no están configurados, se le dirigirá a la sección de configuración de almacenamiento provisional global para su configuración. Una vez configurados, todos los recursos de nivel superior CDC adoptarán esta configuración. La Configuración personalizada solo tiene como ámbito el recurso CDC para el que está configurado e invalida la Configuración de fábrica.
Nota:
A medida que utilizamos el comando COPY INTO para transferir datos de la ubicación de almacenamiento provisional a Azure Synapse Analytics, es aconsejable asegurarse de que todos los permisos necesarios están preconfigurados dentro de Azure Synapse Analytics.
Nota:
Siempre usamos la última configuración publicada al iniciar una CDC. Para ejecutar CDC, mientras se procesan los datos, se le facturarán 4 núcleos virtuales de flujos de datos de uso general.