Aceleração de consulta para atalhos do OneLake - visão geral

Os atalhos OneLake são referências de um Eventhouse que apontam para fontes internas do Fabric ou externas. Esse tipo de atalho é acessado posteriormente para consulta em conjuntos de consultas KQL usando a função . As consultas executadas em atalhos do OneLake podem ter menos desempenho do que em dados ingeridos diretamente para Eventhouses devido a vários fatores, como chamadas de rede para buscar dados do armazenamento, ausência de índices e muito mais.

A aceleração de consultas permite especificar uma política sobre tabelas delta externas (um formato de armazenamento que acompanha alterações nos dados ao longo do tempo) que define o número de dias para armazenar dados em cache para consultas de alto desempenho.

A aceleração de consultas é suportada no Eventhouse sobre tabelas delta a partir de atalhos de OneLake, Azure Data Lake Store Gen1, Amazon S3, Google Cloud Services, tabelas externas de armazenamento de blobs Azure e todos os destinos suportados por atalhos de OneLake.

Quando devo usar a aceleração de consulta para atalhos do OneLake?

A aceleração de consulta armazena em cache os dados à medida que chegam ao OneLake, fornecendo desempenho comparável à ingestão de dados no Eventhouse. Ao usar esse recurso, você pode acelerar o pouso de dados no OneLake, incluindo dados existentes e quaisquer novas atualizações, e esperar um desempenho semelhante. Isso elimina a necessidade de gerenciar pipelines de ingestão, manter cópias duplicadas de dados e, ao mesmo tempo, garantir que os dados permaneçam sincronizados sem esforço adicional.

Os cenários a seguir são ideais para usar a aceleração de consulta em atalhos do OneLake:

• Consultar dados no OneLake com alto desempenho: quando você tem cargas de trabalho existentes que estão carregando dados e gerenciando-os em armazenamento (opcionalmente em uma nuvem ou região diferente) e gostaria de consultar alguns ou todos os dados com alto desempenho.
• Combine dados históricos com fluxos em tempo real: quando você quiser combinar perfeitamente o embarque de dados no OneLake diretamente com fluxos em tempo real que entram no Eventhouse sem comprometer as velocidades de consulta.
• Aproveite os dados de dimensão gerenciados por outros itens: muitas vezes, dados de alto valor e pequenos volumes são hospedados em servidores SQL, Cosmos DB, Snowflake ou outros sistemas que podem ser espelhados no OneLake. Os atalhos otimizados do OneLake podem tornar esses dados facilmente acessíveis para integrar e enriquecer na consulta do Eventhouse. Como os dados de dimensão são muitas vezes significativamente menores do que os dados de atividade, o custo adicional associado a esse uso é normalmente mínimo.

Comportamento de tabelas delta externas aceleradas

Os atalhos acelerados do OneLake comportam-se como as tabelas externas, com as mesmas limitações e recursos. Especificamente, recursos como exibição materializada e políticas de atualização não são suportados.

Monitorar o comportamento de aceleração

O processo inicial de aceleração da consulta depende do tamanho da tabela externa. Para monitorar o progresso e as configurações de uma tabela acelerada, use o comando .show external table operations query_acceleration statistics em um conjunto de consultas KQL.

Limitações

• O número de colunas na tabela externa não pode exceder 900.
• O desempenho da consulta em tabelas delta externas aceleradas com mais de 2,5 milhões de arquivos de dados pode não ser o ideal.
• O recurso pressupõe tabelas delta com recursos avançados estáticos, por exemplo, o mapeamento de colunas não muda, as partições não mudam e assim por diante. Para alterar recursos avançados, primeiro desative a política e, uma vez que a alteração seja feita, reative a política.
• As alterações de esquema na tabela delta também devem ser seguidas com o respetivo .alter esquema externo da tabela delta, o que pode resultar na aceleração recomeçando do início se houver uma alteração de esquema que provoca rupturas.
• A poda baseada em índice não é suportada para partições.
• Os ficheiros Parquet com um tamanho comprimido superior a 6 GB não serão armazenados em cache.

Faturação

Os dados acelerados são cobrados através do medidor de cache OneLake Premium, de forma semelhante às tabelas nativas do Eventhouse. Você pode controlar a quantidade de dados que é acelerada definindo o número de dias para armazenar em cache. A atividade de indexação também pode contar para o consumo de UC. Para obter mais informações, consulte Faturamento de armazenamento.

As cobranças relacionadas com a aceleração de consultas aparecerão na aplicação de métricas do Fabric, no Eventhouse, onde o atalho acelerado é criado.

Conteúdos relacionados

• Aceleração de consulta sobre atalhos do OneLake
• Atalhos do OneLake
• Política de aceleração de consultas