Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
O Synapse Link do Azure oferece várias maneiras de gravar e ler seus dados para se ajustar a vários cenários analíticos. Dependendo do seu cenário analítico, você pode escolher uma configuração específica entre as opções abaixo.
| Cenário | Aplica-se a | Opções de configuração disponíveis |
|---|---|---|
| Relatório operacional | Tabelas do Microsoft Dataverse, tabelas de finanças e operações, e entidades. | A opção Synapse Analytics com Delta lake fornece melhores tempos de resposta de consulta, principalmente aplicáveis para consultar grandes quantidades de dados. Mais informações: Synapse Link com a opção Delta Lake |
| Relatório operacional | Somente tabelas do Dataverse. | O Synapse Link com a opção de configuração "in-place update" fornece arquivos CSV em seu data lake que são atualizados quase em tempo real. Esta é uma opção herdada disponível para tabelas do Dataverse. Essa opção não tem suporte para tabelas de aplicativos de finanças e operações. |
| Integração de dados | Tabelas e entidades de finanças e operações do Dataverse. | A opção "Somente acrescentar fornece arquivos CSV que contêm dados incrementais. Você pode criar pipelines que consomem dados incrementais e preenchem sistemas downstream O recurso Partição de dados especificada pelo usuário permite escolher uma estratégia de particionamento de dados personalizada para tabelas do Dataverse. Os dados da tabela de finanças e operações são particionados pelo sistema com base na estratégia de partição apropriada. Essa opção não está disponível para aplicativos de finanças e operações. |
Note
O Synapse Link do Azure para Dataverse era anteriormente conhecido como Exportação para Data Lake. A Microsoft renomeou o serviço em maio de 2021. O serviço continua exportando dados para o Azure Data Lake Storage, bem como para o Azure Synapse Analytics. A partir de setembro de 2023, o Azure Synapse Link também permite que você escolha dados de Dynamics 365 aplicativos de finanças e operações. Nem todos os padrões de integração são compatíveis com aplicativos de finanças e operações. Para obter diretrizes sobre a transição da exportação para o recurso de lago de dados em aplicativos de finanças e operações para Synapse Link, acesse o Guia de Transição.
Este artigo aborda as definições de configuração avançadas disponíveis para tabelas do Dataverse. Estas opções não estão disponíveis para aplicativos de finanças e operações.
- Atualizações no local x gravações somente de acréscimo.
- Particionamento de dados especificado pelo usuário.
Atualizações no local x gravações somente de acréscimo
Ao gravar dados de tabela do Dataverse no data lake Azure, com base no valor createdOn, que é a data e a hora em que o registro foi criado, há duas configurações diferentes para escolher. São elas: Atualização no local e Somente acrescentar.
A configuração padrão (para tabelas em que createdOn está disponível) é fazer uma atualização no local ou executar upsert (atualizar ou executar upsert) dos dados incrementais no destino. Se a alteração for nova e uma linha correspondente não existir no lake, no caso de uma criação, os arquivos de destino serão verificados e as alterações serão inseridas na partição de arquivo correspondente no lake. Se a alteração for uma atualização e existir uma linha no lake, o arquivo correspondente no lake será atualizado, e não inserido, com os dados incrementais. Em outras palavras, a configuração padrão para todas as alterações CUD (criar, atualizar, excluir) em tabelas do Dataverse, em que createdOn está disponível, é fazer uma atualização no local no destino, no Azure Data Lake.
Você pode mudar o comportamento padrão de uma atualização local usando uma configuração opcional chamada Somente acrescentar. Em vez de uma Atualização no local, no modo Somente acrescentar, dados incrementais de tabelas do Dataverse são acrescentados à partição de arquivo correspondente no lake. Esta é uma configuração por tabela e está disponível como uma caixa de seleção em Avançado>Mostrar configurações avançadas. Para tabelas do Dataverse com Somente acrescentar ativado, todas as alterações CUD são acrescentadas aos arquivos de destino correspondentes no lake de forma incremental. Quando você escolhe esta opção, a estratégia de partição assume o padrão Ano e quando os dados são gravados no data lake, eles são particionados anualmente.
Somente acrescentar também é a configuração padrão para tabelas do Dataverse que não têm o valor createdOn.
Esta tabela descreve como as linhas são tratadas no lake em relação a eventos CUD para cada um das opções de gravação de dados.
| Evento | Atualização in-loco | Somente acrescentar |
|---|---|---|
| Create | A linha é inserida no arquivo de partição e se baseia no valor createdOn na linha. |
A linha é adicionada ao final do arquivo de partição e se baseia no valor createdOn do registro. |
| Update | Se a linha existir no arquivo de partição, ela será substituída ou atualizada com dados atualizados. Se ela não existir, será inserida no arquivo. | A linha, junto com a versão atualizada, é adicionada ao final do arquivo de partição. |
| Delete | Se a linha existir no arquivo de partição, ela será removida do arquivo. | A linha é adicionada ao final do arquivo de partição com IsDelete column = True. |
Note
Para tabelas do Dataverse em que Somente anexar está habilitado, excluir uma linha na origem não exclui ou remove a linha no Data Lake. Em vez disso, a linha excluída é acrescentada como uma nova linha no lago e a coluna isDeleted é definida como True.
A leitura suja (ALLOW_INCONSISTENT_READS) para o modo serverless está habilitada apenas para adição.
ALLOW_INCONSISTENT_READSsignifica que o usuário é capaz de ler os arquivos que podem ser modificados constantemente enquanto a consulta SELECT está sendo executada. Os resultados são consistentes e equivalentes à leitura de um instantâneo do arquivo. (Não é equivalente ao isolamento de instantâneo do banco de dados por causa do tempo diferente de geração do instantâneo.)
Nem todas as alterações de criação, atualização e exclusão (CUD) são capturadas em modo de somente acrescentar: o Synapse Link processa as alterações nos dados em grupos ou "batches" antes de publicá-las no data lake. Como resultado, se o usuário fizer alterações em um intervalo de tempo curto, nem todas as alterações de CUD serão capturadas no data lake.
Veja a seguir mais alguns detalhes sobre quando usar qualquer uma das opções.
Atualização in loco (herdada): essa opção é a configuração padrão e recomendada somente se você quiser se conectar diretamente aos dados no lago e precisar do estado atual (não de histórico ou alterações incrementais). O arquivo contém o conjunto de dados completo e pode ser utilizado por meio de Power BI ou copiando todo o conjunto de dados para pipelines ETL (Extrair, Transferir, Carregar).
Importante
A atualização em vigor é um modo herdado e não é bem dimensionada com grandes volumes de dados ou quando as alterações são frequentes. Se sua tabela tiver uma grande quantidade de dados ou tiver uma alta taxa de criação, atualizações ou exclusões, use Somente acrescentar para garantir a exportação de dados confiável e com desempenho.
Somente acrescentar: Selecione esta opção se você não estiver se conectando diretamente a dados no lake e desejar copiar dados de forma incremental para outro destino usando pipelines ETL. Esta opção fornece um histórico de alterações para habilitar cenários de IA e ML. Essa é a opção recomendada para tabelas com grandes volumes de dados ou alterações frequentes de dados.
Você pode alternar a opção Show advanced configuration settings em Advanced no Azure Synapse Link do Dataverse para personalizar sua estratégia de partição de dados e selecionar opções para gravar no data lake do Azure.
Particionamento de dados
Quando você grava dados de tabela do Dataverse no Azure Data Lake Storage usando o Azure Synapse Link, as tabelas são particionadas no Data Lake com base no valor createdOn em cada linha da origem. A estratégia de partição padrão é por mês, portanto, os dados são particionados mensalmente no Azure Data Lake.
Com base na distribuição de dados e volumes de tabelas do Dataverse, você pode optar por particionar seus dados por ano. Com essa opção, quando os dados da tabela do Dataverse são gravados no Data Lake do Azure, eles são particionados de forma anual com base no valor createdOn de cada linha na origem. Para tabelas sem a coluna createdOn, as linhas de dados serão particionadas em um novo arquivo a cada cinco milhões de registros. Esta é uma configuração por tabela e está disponível como uma caixa de seleção em Avançado>Mostrar configurações avançadas.
Aqui estão exemplos de como os dados podem ser tratados no lago com uma estratégia de partição anual ou mensal.
