Introdução ao design da arquitetura de análise

Com o crescimento exponencial dos dados, as organizações dependem do poder de computação, armazenamento e análise ilimitados de Azure para dimensionar, transmitir, prever e ver seus dados. As soluções de Analytics transformam volumes de dados em BI (business intelligence) útil, como relatórios e visualizações, e IA (inteligência artificial), como previsões baseadas em aprendizado de máquina.

Se sua organização está apenas começando a avaliar ferramentas de análise baseadas em nuvem ou se está procurando expandir sua implementação atual, Azure fornece muitas opções. O fluxo de trabalho começa com o aprendizado sobre abordagens comuns e o alinhamento de processos e funções em torno de uma mentalidade de nuvem.

Os dados podem ser processados em lotes ou em tempo real, no local ou na nuvem, mas o objetivo de qualquer solução de análise é fazer uso de dados em escala. Cada vez mais, as organizações querem criar uma única fonte de verdade para todos os dados relacionais e não relacionais que estão sendo gerados por pessoas, máquinas e pela IoT (Internet das Coisas). É comum usar uma arquitetura de Big Data ou uma arquitetura de IoT para transformar dados brutos em um formulário estruturado e, em seguida, movê-los para um armazenamento de dados analíticos. Esse armazenamento se torna a única fonte de verdade que pode alimentar uma infinidade de soluções de análise perspicazes.

Arquitetura

Carrege um arquivo Visio desta arquitetura.

O diagrama acima demonstra uma implementação típica de análise básica/de linha de base. Consulte as architectures fornecidas nesta seção para encontrar soluções do mundo real que você pode criar em Azure.

Explorar arquiteturas e guias de análise

Os artigos nesta seção incluem arquiteturas totalmente desenvolvidas que você pode implantar em Azure e expandir para soluções e guias de nível de produção. Elas podem ajudá-lo a tomar decisões importantes sobre como usar tecnologias de análise em Azure. As ideias da solução demonstram padrões de implementação e possibilidades a serem consideradas à medida que você planeja seu desenvolvimento de prova de conceito de análise.

Guias de arquitetura de análise

Opções de tecnologia – Estes artigos ajudam você a avaliar e selecionar as melhores tecnologias de análise para seus requisitos de carga de trabalho:

• Analítica e Relatórios – Comparar opções de análise e visualização de dados no Azure.
• Processamento em lote – avaliar as tecnologias de processamento em lote para cargas de trabalho de Big Data.
• Processamento de fluxo – comparar tecnologias de processamento de fluxo para análise em tempo real.
• Escolha um armazenamento de dados analíticos – Diretrizes sobre como selecionar o armazenamento de dados analíticos correto.
• Conseque um armazenamento de dados analíticos no Microsoft Fabric – Diretrizes sobre como selecionar armazenamentos de dados no Microsoft Fabric.

Disaster recovery for Azure data platform - Estes artigos fornecem diretrizes abrangentes para implementar estratégias de recuperação de desastre:

• Overview – Visão geral das estratégias de recuperação de desastre para plataformas de dados Azure.
• Architecture - Padrões de arquitetura para recuperação de desastre em plataformas de dados Azure.
• Detalhes do cenário – Cenários detalhados para implementar a recuperação de desastre.
• Recomendações – recomendações de prática recomendada para recuperação de desastre.

Arquiteturas de análise

Essas arquiteturas prontas para produção demonstram soluções de análise de ponta a ponta que você pode implantar e personalizar:

• Analytics de ponta a ponta com Microsoft Fabric – crie uma plataforma de análise moderna usando as funcionalidades integradas do Microsoft Fabric.
• Data warehousing e analytics – Integrar um grande volume de dados de múltiplas fontes em uma plataforma unificada de análise.
• Use Microsoft Fabric para criar uma solução de BI empresarial – Criar uma solução de business intelligence empresarial usando Microsoft Fabric.
• Processamento quase em tempo real de dados lakehouse - Use Azure Synapse Analytics e Azure Data Lake Storage para processamento quase em tempo real de dados lakehouse.
• A sincronização em tempo real do MongoDB Atlas para Azure Synapse Analytics – sincronizar dados do Atlas do MongoDB para Azure Synapse Analytics em tempo real.
• Stream processing com Azure Databricks – Criar um pipeline de processamento de fluxo de ponta a ponta usando Azure Databricks.
• Fluxo de processamento com Azure Stream Analytics – crie um pipeline de processamento de fluxo que ingere dados, correlaciona registros e calcula médias móveis.
• Data warehouse moderno para pequenas e médias empresas – crie uma solução moderna de data warehouse projetada para pequenas e médias empresas.

Ideias da solução de análise

Essas ideias de solução demonstram padrões de implementação e possibilidades de explorar:

• Ingestion, ETL e pipelines de processamento de fluxo com Azure Databricks – Crie pipelines ETL para dados em lote e streaming para simplificar a ingestão de data lake.
• Arquitetura moderna de análise com Azure Databricks – Coletando, processando, analisando e visualizando dados usando uma arquitetura de dados moderna.
• Plataforma de dados moderna para pequenas e médias empresas – crie uma arquitetura moderna de plataforma de dados para pequenas e médias empresas usando Microsoft Fabric e Azure Databricks.
• A análise em tempo real com Azure Data Explorer – analisar dados em tempo real usando Azure Data Explorer e Barramento de Serviço do Azure.

Saiba mais sobre análise no Azure

Microsoft Learn fornece recursos de treinamento online gratuitos para tecnologias de análise de Azure. A plataforma oferece vídeos, tutoriais e laboratórios práticos para produtos e serviços específicos, juntamente com roteiros de aprendizagem organizados por função de trabalho.

Os recursos a seguir fornecem conhecimento básico para implementações de análise em Azure:

• Navegue pelos tópicos de dados do Azure
• Introdução aos conceitos fundamentais de dados do Microsoft Azure
• Comece com o Microsoft Fabric

Roteiros de aprendizagem por função

• Data analyst: Comece com a análise de dados da Microsoft
• Engenheiro de dados: Implemente uma solução de análise de dados com o Azure Databricks
• Cientista de Dados: Desenvolver soluções de aprendizado de máquina usando Azure Databricks

Preparação organizacional

As organizações que estão iniciando a adoção da nuvem podem usar o Cloud Adoption Framework para obter diretrizes comprovadas projetadas para acelerar a adoção da nuvem. Para obter diretrizes de análise em escala de nuvem, consulte análise em escala de nuvem.

Para ajudar a garantir a qualidade da sua solução de análise em Azure, recomendamos seguir o Azure Well-Architected Framework. Ele fornece diretrizes prescritivas para organizações que buscam excelência arquitetônica e discute como projetar, provisionar e monitorar soluções de Azure otimizadas para custos.

Para obter diretrizes de carga de trabalho de dados alinhadas aos pilares do Well-Architected Framework, consulte Azure Well-Architected Framework para cargas de trabalho de dados.

Caminho de produção

Choosing a data store é uma decisão fundamental ao implementar a análise em Azure. Depois de selecionar sua abordagem de armazenamento, você pode determinar a tecnologia de análise de dados apropriada para seu cenário.

Os principais pontos de decisão incluem:

• Armazenamento de dados: escolha entre data lakes, data warehouses ou lakehouses com base em sua estrutura de dados e padrões de consulta. Para obter diretrizes sobre como selecionar e projetar soluções de banco de dados que alimentam cargas de trabalho de análise, consulte o design da arquitetura de bancos de dados.

• Modelo de processamento: determine se o processamento em lote, o processamento de fluxo ou uma combinação melhor se ajusta aos seus requisitos de carga de trabalho.

• Ferramentas de análise: selecione tecnologias de BI e IA que se alinham às habilidades e às necessidades de negócios da sua equipe.

Para exibir diferentes estilos de arquitetura para soluções de análise, consulte arquiteturas.

Práticas recomendadas

Análises de alta qualidade começam com dados robustos e confiáveis. No mais alto nível, as práticas de segurança da informação ajudam a garantir que seus dados estejam protegidos em trânsito e em repouso. O acesso a esses dados também deve ser confiável. Dados confiáveis implicam em um design que implementa:

• Políticas de governança – defina políticas claras de propriedade, classificação e acesso de dados.

• Gerenciamento de identidade e acesso – Implementar o controle de acesso baseado em função e princípios de privilégio mínimo.

• Controles de segurança de rede – proteja os fluxos de dados entre os serviços e impeça o acesso não autorizado.

• Proteção de dados – criptografar dados em repouso e em trânsito.

No nível da plataforma, as seguintes práticas recomendadas de big data contribuem para uma análise confiável no o Azure.

• Orquestrar a ingestão de dados – Use um fluxo de trabalho de dados ou uma solução de pipeline, como as compatíveis com os pipelines do Azure Data Factory ou Microsoft Fabric.

• Processar dados no local – use um armazenamento de dados distribuído, uma abordagem de big data que suporta volumes maiores de dados e uma gama mais ampla de formatos.

• Limpar dados confidenciais antecipadamente – remover ou mascarar dados confidenciais como parte do fluxo de trabalho de ingestão para evitar o armazenamento em seu data lake.

• Considere o custo total – balancee o custo por unidade dos nós de computação necessários em relação ao custo por minuto de uso desses nós para concluir um trabalho.

• Criar um data lake unificado – Combinar armazenamento para arquivos em vários formatos, estruturados, semiestruturados ou não estruturados. Use Azure Data Lake Storage Gen2 como sua única fonte de verdade. Por exemplo, consulte Arquitetura de solução de BI no Centro de Excelência.

Mantenha-se atualizado com a análise

Azure serviços de análise estão evoluindo para enfrentar os desafios de dados modernos. Mantenha-se informado sobre as atualizações mais recentes e os recursos planejados:

Obtenha as atualizações mais recentes sobre Azure produtos e recursos.

Mantenha-se atualizado com estes principais serviços de análise:

• O que há de novo no Microsoft Fabric
• Notas de versão do Azure Databricks
• O que há de novo no Azure Data Explorer
• O que há de novo no Power BI

Recursos adicionais

A análise é uma categoria ampla e abrange uma gama de soluções. Os recursos a seguir podem ajudá-lo a descobrir mais sobre Azure.

Híbrido

A vasta maioria das organizações precisa de uma abordagem híbrida para análise porque seus dados são hospedados tanto no local quanto na nuvem. As organizações geralmente estendem soluções de dados locais para a nuvem. Para conectar ambientes, as organizações devem escolher uma arquitetura de rede híbrida.

Principais cenários de análise híbrida:

• Modernização do Mainframe: Modernizar dados de Mainframe e Midrange – integrar fontes de dados herdadas com plataformas de análise modernas.
• Integração local: operações híbridas e multinuvem unificadas – conecte bancos de dados locais à análise de nuvem.
• Análise de borda: processar dados na borda e agregar insights na nuvem.

Análise em tempo real

A análise em tempo real permite que as organizações atuem sobre os dados à medida que chegam. Aqui estão alguns recursos para ajudá-lo a começar a usar a análise em tempo real no Azure:

• Análise em tempo real sobre a arquitetura de Big Data – Processar e analisar dados de streaming em escala.
• Análise IoT com Azure Data Explorer – Analise dados de telemetria de IoT em tempo real.
• Processamento de Stream com Azure Stream Analytics – Criar soluções de streaming sem servidor.
• Criar uma arquitetura de análise moderna usando Azure Databricks - análise de nível empresarial usando o Apache Spark.

Explore mais exemplos de análises no Centro de Arquitetura do Azure

Profissionais da AWS ou do Google Cloud

Estes artigos podem ajudá-lo a aumentar rapidamente comparando as opções de análise de Azure com outros serviços de nuvem:

• Analytics e Big Data em tecnologias Database em Azure e AWS

• Big data e análise na comparação de serviços do Google Cloud com o Azure