Quando usar o Azure Data Explorer
Aqui, discutiremos como você pode decidir se o Azure Data Explorer é a escolha certa para suas necessidades de análise de Big Data. Ao avaliar os critérios a seguir, você pode determinar se o Azure Data Explorer atende às suas metas funcionais e de performance.
- Análise interativa
- Variedade de dados
- Velocidade de dados
- Volume de dados
- Organização de dados
- Simultaneidade de consulta
- Criar ou comprar
Critérios de decisão
O Azure Data Explorer é uma plataforma de análise interativa de Big Data que capacita as pessoas a tomar decisões controladas por dados em um ambiente altamente ágil. Os fatores listados aqui podem ajudá-lo a avaliar se o Azure Data Explorer é uma boa opção para a workload em questão. As perguntas principais a seguir devem ser feitas.
Análise interativa
Preciso analisar dados interativamente?
A análise de dados inclui técnicas como agregação, escopo, avaliação, correlação, detecção de anomalias, previsão e avaliação geral do modelo. Isso ajuda a reduzir grandes quantidades de dados em conclusões acionáveis. O Azure Data Explorer trata de realizar essas atividades interativamente. Essas atividades podem ocorrer em painéis interativos, aplicativo analítico personalizado ou por meio da interação direta com dados por meio de consultas e visualização amigável ao usuário. O Azure Data Explorer pode não ser a tecnologia certa para executar trabalhos em lotes de execução prolongada por dados. Considere o uso de tecnologias como o Microsoft Spark, que funcionam bem com o Azure Data Explorer para tarefas de execução prolongada.
Variedade de dados
Quão variada é a estrutura de dados?
O Azure Data Explorer fornece índice de texto completo escalonável de alta performance e suporte para esquema dinâmico. Se você precisar analisar e processar dados estruturados, semi-estruturados (json/xml) e texturais, é uma boa indicação de que o Azure Data Explorer é relevante para sua carga de trabalho.
Velocidade de dados
A análise de dados em tempo real é um fator crítico?
O Azure Data Explorer pode ingerir grandes quantidades de dados rapidamente e em baixa latência. Os conjuntos de dados típicos incluem rastreamentos, logs de transações, série temporal, métricas e fluxos de registro de atividade em geral. A análise quase em tempo real em dados atualizados é um caso de uso comum. O Azure Data Explorer conecta-se bem a tecnologias de streaming como Hubs de Eventos do Azure, Hubs IoT e Kafka para alimentar essas cargas de trabalho. No entanto, caso haja necessidade de análise em tempo real, o Azure Data Explorer pode não ser a melhor opção.
Volume de dados
Que volume de dados preciso ingerir?
O Azure Data Explorer foi criado para fornecer análise de caminho quente, interativa e por meio da API em workloads de dados enormes. Para cenários em que o tamanho total de dados acumulados é de alguns gigabytes, pode haver outras soluções mais econômicas.
Organização de dados
Com que consistência meus dados estão organizados?
O Azure Data Explorer foi criado para aplicar o esquema no momento da leitura de dados brutos. Essa abordagem cria flexibilidade para examinar dados de maneiras diferentes e de diversos pontos de vista com base nas necessidades do momento. Essa funcionalidade é valiosa para lidar com desafios inesperados em segurança, operações e ambientes competitivos, dentre outras áreas. O Azure Data Explorer fornece velocidade, escalabilidade e economia extremas para analisar dados brutos. Geralmente, em implantações de data warehousing, um processo de ETL (extração, transformação e carregamento) gera periodicamente um conjunto bem coletado, altamente consistente e bem documentado de entidades e atributos. Geralmente, a análise desses complexos esquemas em estrela envolve grandes junções de fato a fato para as quais o Azure Data Explorer não é otimizado.
Simultaneidade de consulta
Quantos usuários precisam consultar/ingerir/processar dados ao mesmo tempo?
O Azure Data Explorer é amplamente usado para implementar ofertas de SaaS de análise. Se houver a necessidade de dar suporte a necessidades de análise diferentes e exclusivas de um grande número de solicitações em paralelo, o Azure Data Explorer deverá fornecer uma boa solução.
Criar ou comprar
O quanto desejo personalizar minha plataforma de dados?
O Azure Data Explorer é uma plataforma como serviço totalmente gerenciada. No entanto, ele não fornece uma solução pronta para uso. Ele requer personalização, configuração, conexão e criação de experiências para fornecer uma solução (build). Há várias soluções da Microsoft e de terceiros que usam o Azure Data Explorer para fornecer essas soluções turnkey em diferentes domínios e verticais. Por exemplo, o Azure Monitor para operações de TI, a Proteção Avançada contra Ameaças da Microsoft e o Microsoft Sentinel no domínio de segurança e o Azure Time Series Insights e o Azure IoT Central nos domínios de IoT.
Aplicar os critérios
O Azure Data Explorer funciona melhor para habilitar recursos de análise interativa para profissionais do conhecimento em dados brutos diversos e de alta velocidade. Vamos pensar em como aplicar os critérios listados anteriormente aos nossos processos de exemplo no cenário da empresa de roupas.
O Azure Data Explorer deve ser usado para dados de produção?
O departamento de produção da empresa de vestuário de exemplo precisa tomar decisões sobre como gerenciar volumes de inventário e produção. Eles têm logs de entrada de dados de estoque. Eles também querem usar dados geoespaciais do marketing para prever as necessidades de produto por região. Esses dados têm alto grau de variedade, velocidade e volume. Ele não é organizado de forma consistente e muitos stakeholders precisam consultar esses dados simultaneamente. Da ingestão à consulta, eles exigem baixa latência. Eles precisam de tempos de resposta de consulta de menos de um segundo ou melhores. Com base nos critérios de decisão, o Azure Data Explorer é uma boa escolha para a divisão de produção da empresa de vestuário.
O Azure Data Explorer deve ser usado para dados de marketing?
O departamento de marketing da empresa de vestuário deseja avaliar a eficácia de sua campanha. Eles têm dados de sequência de cliques do site e das campanhas publicitárias. Eles também têm dados em texto livre (não estruturados) de mídias sociais. Esses dados são altamente variados e desorganizados. O departamento deseja fazer análises interativas exploratórias. Com base nos critérios de decisão, o Azure Data Explorer é uma boa escolha para a divisão de marketing da empresa de vestuário.
Resumo das diretrizes
A tabela a seguir mostra como avaliar novos casos de uso. Embora todos os casos de uso não sejam abordados aqui, achamos que isso pode ajudar a decidir se o Azure Data Explorer é a solução certa para você.
| Caso de uso | Análise interativa | Big Data (variedade, velocidade, volume) | Organização de dados | Simultaneidade | Criar ou comprar | Devo usar o Azure Data Explorer? |
|---|---|---|---|---|---|---|
| Implementar um SaaS de análise de segurança | Uso intenso de análises interativas quase em tempo real. | Os dados de segurança são diversos, de alto volume e de alta velocidade. | Varia | O sistema geralmente é usado por vários analistas de vários locatários. | Implementar uma oferta de SaaS é um cenário de Build. | Sim |
| CDN da análise de logs | Interativo para solução de problemas e monitoramento de QoS. | Os logs de CDN são diversos, de alto volume e de alta velocidade. | Registros de log separados. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas também pode alimentar muitos painéis. | O valor extraído da análise de CDN é específico do cenário e requer análise personalizada. | Sim |
| Banco de dados de série temporal para telemetria de IoT | Interativo para solucionar problemas, análise de tendências, uso e detecção de anomalias. | A telemetria da IoT é de alta velocidade, mas pode ser estruturada apenas ou de tamanho médio. | Conjuntos de registros relacionados. | Um pequeno grupo de cientistas de dados pode usar essas análises, mas também pode alimentar muitos painéis. | Normalmente, o contexto é Build ao pesquisar um banco de dados. | Sim |
A tabela de fluxograma a seguir resume as principais perguntas a serem feitas quando você estiver considerando usar o Azure Data Explorer.
