Limitações do conector de ingestão do Microsoft Dynamics 365

Esta página descreve limitações e restrições para o conector do Microsoft Dynamics 365 no Lakeflow Connect.

Limitações gerais do conector SaaS

O conector do Dynamics 365 compartilha limitações comuns a todos os conectores SaaS no Lakeflow Connect:

• Quando você executa um pipeline agendado, os alertas não são disparados imediatamente. Em vez disso, eles são disparados quando a próxima atualização é executada.
• Quando uma tabela de origem é excluída, a tabela de destino não é excluída automaticamente. Você precisa excluir a tabela de destino manualmente. Esse comportamento não é consistente com o comportamento do Lakeflow Spark Declarative Pipelines.
• Durante os períodos de manutenção, o Databricks pode não conseguir acessar seus dados.
• Se o nome da tabela de origem entrar em conflito com um nome de tabela de destino existente, o fluxo falhará.
• O suporte a pipeline de vários destinos é somente para API.
• Opcionalmente, você pode renomear uma tabela que ingerir. Se você renomear uma tabela em seu pipeline, ela se tornará um pipeline somente de API e você não poderá mais editar o pipeline na interface do usuário.
• A seleção e a desseleção no nível da coluna são somente de API.
• Se você selecionar uma coluna depois que um pipeline já tiver sido iniciado, o conector não fará o backfill de dados automaticamente para a nova coluna. Para ingerir dados históricos, execute manualmente uma atualização completa na tabela.
• O Databricks não pode ingerir duas ou mais tabelas com o mesmo nome no mesmo pipeline, mesmo que elas venham de esquemas de origem diferentes.
• O sistema de origem pressupõe que as colunas de cursor estão aumentando monotonicamente.
• O conector ingere dados brutos sem transformações. Use os pipelines de transformação downstream do Lakeflow Spark Declarative Pipelines.

Requisitos do Azure Synapse Link

O conector Dynamics 365 exige que o Azure Synapse Link para Dataverse funcione de forma contínua.

• Operação contínua: o Link do Synapse deve exportar dados sem interrupção. Se o Link do Synapse for interrompido, o conector não poderá capturar alterações até que ele seja retomado.
• Latência de exportação: as alterações aparecem no Azure Data Lake Storage (ADLS) Gen2 após o intervalo de exportação do Link do Synapse (normalmente de 5 a 15 minutos). A arquitetura do Link do Synapse inclui inerentemente essa latência.
• Políticas de retenção: configure as políticas de retenção apropriadas para o armazenamento do ADLS Gen2. Se você excluir as exportações do Synapse Link antes da ingestão, deverá executar uma atualização completa.

Evolução do esquema

No momento, o conector do Dynamics 365 não dá suporte à evolução automatizada do esquema.

Evolução do esquema de entidade virtual

Considerações especiais para entidades virtuais de Finanças e Operações:

As entidades virtuais no F&O exigem tratamento adicional para alterações de esquema:

• Atualizações de entidadade virtual: quando as entidades virtuais de F&O são atualizadas, você deve reconfigurar a configuração da entidade virtual no Dataverse.
• Atraso na sincronização: Espere até 15 minutos para que alterações em entidades virtuais apareçam no processo de descoberta de esquema do Dataverse.
• Atualização completa necessária: as alterações de esquema de entidade virtual exigem uma atualização completa das tabelas afetadas.

Ação necessária: monitorar atualizações de entidade virtual de F&O e coordenar atualizações completas com o administrador D365.

Ingestão incremental

A ingestão incremental do conector do Dynamics 365 tem estas limitações:

• Requer VersionNumber: Synapse Link deve exportar os changelogs com o campo VersionNumber. Se VersionNumber estiver ausente, você deverá usar o modo de atualização completo.
• Processamento baseado em pasta: o conector processa pastas de exportação do Link do Synapse em ordem cronológica. Se você excluir pastas ou se as pastas estiverem ausentes, o conector não poderá se recuperar sem uma atualização completa.
• Sem retroativos: se o Link do Synapse perder as alterações devido a uma interrupção, essas alterações não serão capturadas, a menos que você execute uma atualização completa.
• Detecção de exclusão: o conector detecta exclusões somente se o Link do Synapse exporte registros de exclusão nos changelogs. Algumas configurações D365 não exportam exclusões.

Anexos e arquivos

O conector do Dynamics 365 ingere metadados de anexo, mas não o conteúdo do arquivo:

• Somente metadados: o conector ingere tabelas de anexo (por exemplo, annotation, ) attachmentcom nomes de arquivo, tamanhos, tipos MIME e associações de registro.
• Sem dados binários: o conector não ingere conteúdo do arquivo. Você deve baixar arquivos separadamente usando a API Web do Dynamics 365 ou o Power Automate.
• Limitação de armazenamento: o Link do Synapse exporta dados de tabela, não arquivos binários armazenados na D365.

Solução alternativa: use metadados de anexo para identificar os arquivos necessários e, em seguida, baixe-os usando APIs D365 e armazene em um volume ou ADLS Gen2.

Suporte do tipo de dados

O conector do Dynamics 365 dá suporte à maioria dos tipos de dados do Dataverse, mas tem limitações para tipos complexos:

Suporte com total precisão

• Cadeia de caracteres (texto de linha única e várias linhas)
• Inteiro (número inteiro)
• Decimal (número decimal)
• Booliano (sim/não)
• DateTime (data e hora)
• Dinheiro (moeda)
• Busca (referências de chaves estrangeiras, armazenadas como GUIDs)

Suporte com limitações

• Conjuntos de opções (listas de seleção): o conector os ingere como valores inteiros. Para mapear inteiros para rótulos, associe com a OptionSetMetadata tabela ou mantenha uma tabela de referência.
• Conjuntos de opções de seleção múltipla: o conector os ingere como cadeias de caracteres inteiros separadas por vírgulas. Analise a cadeia de caracteres para extrair valores individuais.
• Campos de pesquisa: o conector os ingere como GUIDs. Para obter dados de registro relacionados, junte-se à tabela referenciada.

Sem suporte

• Objetos JSON complexos: alguns tipos de dados personalizados do Dataverse exportam como JSON. O conector os ingere como cadeias de caracteres. Analise o JSON em transformações downstream.
• Imagens: Metadados de imagem são ingeridos, mas os dados da imagem devem ser baixados separadamente.

Consulte a referência do conector do Microsoft Dynamics 365 para obter uma tabela completa de mapeamento de tipo de dados.

Considerações sobre desempenho

O desempenho do conector do Dynamics 365 depende de vários fatores:

Tempo inicial de sincronização

• Volume de dados: as tabelas com milhões de registros demoram mais para serem sincronizadas inicialmente.
• Exportação de link do Synapse: a exportação inicial do Link do Synapse pode levar horas para grandes conjuntos de dados.
• Taxa de transferência de rede: a velocidade de transferência entre o Azure e o Azure Databricks afeta o tempo de sincronização.

Recomendação: comece com um pequeno subconjunto de tabelas para validar a configuração e adicione mais tabelas incrementalmente.

Tempo de sincronização incremental

• Alterar volume: as alterações de alta frequência (por exemplo, milhares de atualizações por minuto) aumentam o tempo de processamento.
• Contagem de pastas: o Link do Synapse cria pastas em intervalos regulares. Mais pastas aumentam a sobrecarga de processamento.
• Tamanho do log de alterações: logs de alterações grandes levam mais tempo para serem processados.

Recomendação: Agende as execuções do pipeline com base no volume de alterações. Para alterações de alta frequência, execute pipelines com mais frequência para manter os logs de alterações pequenos.

Limitações de pipeline

O conector do Dynamics 365 tem essas limitações específicas do pipeline:

• Máximo de tabelas por pipeline: 250 tabelas. Para ambientes D365 grandes, crie vários pipelines.

Limitações de API e SDK

O conector do Dynamics 365 usa APIs do Dataverse e do Armazenamento do Azure com as seguintes limitações:

• Compatibilidade de versão da API: o conector é testado com a API do Dataverse v9.2 e posterior. Talvez não haja suporte para versões mais antigas.
• API de Armazenamento do Azure: o conector usa a API REST do Armazenamento do Azure versão 2021-08-06. Verifique se sua conta de armazenamento dá suporte a essa versão.
• Versão do Azure Synapse Link: o conector requer Azure Synapse Link para Dataverse versão 1.0 ou posterior.

Recomendação: mantenha seus serviços D365, Dataverse e Azure atualizados para as versões mais recentes para obter a melhor compatibilidade.

Problemas conhecidos

• Atrasos na sincronização de entidade virtual: às vezes, as entidades virtuais levam mais de 15 minutos para serem sincronizadas. Se as tabelas não aparecerem, aguarde até 30 minutos e tente novamente.
• Falhas de exportação do Link do Synapse: o Link do Synapse ocasionalmente não exporta tabelas específicas. Verifique logs de erros do Synapse Link no Power Apps.
• Lacunas de VersionNumber do Changelog: em casos raros, os changelogs podem ter lacunas nas sequências de VersionNumber. Isso não afeta a integridade dos dados, mas pode causar avisos em logs de pipeline.

Reporte problemas ao suporte do Azure Databricks com IDs dos pipelines e carimbos de data/hora para investigação.