Atualização do fluxo de dados

Os fluxos de dados permitem que você se conecte, transforme, combine e carregue dados no armazenamento para consumo downstream. Um elemento-chave nos fluxos de dados é o processo de atualização, que aplica as etapas de transformação definidas durante a criação para extrair, transformar e carregar dados no armazenamento de destino.

Uma atualização de fluxo de dados pode ser disparada de duas maneiras: sob demanda ou configurando um agendamento. Uma atualização agendada é executada com base nos dias e horários específicos que você definir.

Pré-requisitos

Veja os pré-requisitos para atualizar um fluxo de dados:

• Início Rápido: crie seus primeiros fluxos de dados para obter e transformar dados
• O usuário que dispara a atualização deve ter acesso de membro (ou superior) ao workspace e acesso a todas as conexões usadas pelo fluxo de dados

Atualização sob demanda

Para atualizar um fluxo de dados sob demanda, selecione o ícone de Atualizar encontrado na lista de espaços de trabalho ou nos modos de exibição de linhagem.

Há outras maneiras de disparar uma atualização de fluxo de dados sob demanda. Quando uma publicação de fluxo de dados é concluída com êxito, uma atualização sob demanda é iniciada. A atualização sob demanda também pode ser acionada por meio de um pipeline que contém uma atividade de fluxo de dados.

Atualização agendada

Para atualizar automaticamente um fluxo de dados em uma programação, selecione o ícone Atualização Agendada encontrado na visualização de lista do espaço de trabalho:

Na seção de atualização, você define a frequência e o intervalo de tempo para atualizar um fluxo de dados, até 48 vezes por dia. A captura de tela a seguir mostra um agendamento de atualização diária com um intervalo de 12 horas.

Cancelar a atualização

Cancelar a atualização do fluxo de dados é útil quando você deseja interromper uma atualização durante o horário de pico, se uma capacidade estiver se aproximando de seus limites ou se a atualização estiver demorando mais do que o esperado. Use o recurso de cancelamento de atualização para interromper a atualização de fluxos de dados.

Para cancelar uma atualização de fluxo de dados, selecione o ícone de Cancelar encontrado na lista do espaço de trabalho ou nas exibições de linhagem para um fluxo de dados com a atualização em andamento.

Depois que uma atualização de fluxo de dados é cancelada, o status do histórico de atualização do fluxo de dados é atualizado para refletir o status de cancelamento:

Limitações de atualização

Para atualizações de fluxo de dados, algumas limitações estão em vigor:

1. Cada fluxo de dados tem permissão para até 300 atualizações por janela móvel de 24 horas. Se esse limite for excedido, um erro poderá aparecer no histórico de atualizações e as atualizações serão retomadas quando o uso ficar abaixo do limite. Para fluxos de dados não CI/CD Gen2, o limite é de 150 atualizações por janela sem interrupção de 24 horas.
2. Além dos limites por fluxo de dados, a restrição no nível do sistema pode ser aplicada para proteger a estabilidade geral do serviço. Isso significa que, embora 300 atualizações distribuídas em 24 horas sejam aceitáveis, tentar 300 atualizações em um curto período de tempo (por exemplo, 60 segundos) pode acionar a limitação e resultar em solicitações rejeitadas. Essas proteções estão em vigor para garantir a confiabilidade do sistema.
3. Se a atualização do fluxo de dados agendada falhar consecutivamente, pausaremos sua agenda de atualização do fluxo de dados e enviaremos um email ao proprietário do fluxo de dados. Nesse caso, as seguintes regras se aplicam:
   • 72 horas (3 dias)
     • 100% de taxa de falha em 72 horas
     • Mínimo de 6 atualizações (2 atualizações por dia)
   • 168 horas (uma semana)
     • 100% de taxa de falha em 168 horas
     • Mínimo de 5 atualizações (1 atualização por dia)
4. Uma única avaliação de uma consulta tem um limite de 8 horas.
5. O tempo total de atualização de uma única atualização de um fluxo de dados é limitado a um máximo de 24 horas.
6. Por fluxo de dados, você pode ter no máximo 50 consultas em etapas ou consultas com destino de saída ou combinação de ambos.

Falhas intermitentes ao consumir dados por meio do conector de Dataflows

Quando itens downstream (como modelos semânticos ou outros fluxos de dados) consomem dados de um Dataflow Gen2 usando o conector de fluxos de dados, eles recuperam os dados por meio de uma API interna. Essa API pode experimentar tempos limite intermitentes, o que pode fazer com que a atualização do item consumidor falhe com uma mensagem de erro enganosa, como: "A chave não correspondeu a nenhuma linha na tabela".

Esse erro não significa que seus dados estão ausentes ou incorretos. Indica que o serviço de back-end não pôde retornar temporariamente os resultados do fluxo de dados.

Solução alternativa recomendada: Configure um destino de dados (Lakehouse ou Warehouse) para cada fluxo de dados de origem e atualize itens downstream para ler diretamente desse destino usando o conector Lakehouse ou Warehouse em vez do conector de fluxos de dados. Ao ler diretamente do armazenamento do OneLake, você ignora totalmente a API interna e elimina esse modo de falha. Essa alteração também normalmente melhora o desempenho geral da atualização.

Para obter mais detalhes sobre essa limitação, consulte as limitações do Data Factory Dataflow Gen2.

Atualizar as implicações do cancelamento nos dados de saída

Uma atualização de fluxo de dados pode ser interrompida por meio do recurso de cancelamento de atualização ou se ocorrer uma falha durante o processamento das consultas do fluxo de dados. Resultados diferentes podem ser observados, dependendo do tipo de destino e de quando a atualização foi interrompida. Veja os possíveis resultados para os dois tipos de destino de dados para uma consulta:

• A consulta está carregando dados para preparo: os dados da última atualização bem-sucedida estão disponíveis.
• A consulta está carregando dados para um destino de dados: os dados gravados até o ponto de cancelamento estão disponíveis.

Nem todas as consultas em um fluxo de dados são processadas ao mesmo tempo. Por exemplo, se um fluxo de dados contiver muitas consultas ou se algumas consultas dependerem de outras. Se uma atualização for cancelada antes do início da avaliação de uma consulta que carrega dados para um destino, não haverá alteração nos dados no destino dessa consulta.

Permissões insuficientes para artefatos de preparação

Se uma atualização falhar com o erro "A atualização do fluxo de dados falhou devido a permissões insuficientes para acessar artefatos de preparo", isso significa que o usuário que criou o primeiro fluxo de dados no espaço de trabalho não entrou no Fabric há mais de 90 dias ou deixou a organização. Para resolver o problema, o usuário mencionado na mensagem de erro deve entrar no Fabric. Se o usuário tiver deixado a organização, abra um ticket de suporte.

Conteúdo relacionado

• Exibir o histórico de atualização e monitorar seus fluxos de dados