Análise de ponta a ponta com Microsoft Fabric

A solução neste artigo combina uma variedade de serviços Microsoft que ingerem, armazenam, processam, enriquecem e fornecem dados e insights de diferentes fontes. Essas fontes incluem formatos estruturados, semiestruturados, não estruturados e de streaming.

Architecture

Amazon Simple Storage Service (AWS S3), Amazon Web Services (AWS), AWS Kinesis, Google Cloud Storage, Google Cloud, Google Cloud Pub/Sub e Snowflake são marcas registradas ou marcas comerciais de seus respectivos proprietários. Apache® e Apache Kafka são marcas registradas ou marcas comerciais do Apache Software Foundation no Estados Unidos e/ou em outros países. Nenhum endosso dos respectivos proprietários de marca está implícito pelo uso dessas marcas.

Carrege um arquivo Visio desta arquitetura.

Fluxo de dados

As seções a seguir descrevem como o OneLake serve como a página inicial para dados em vários estágios do ciclo de vida dos dados. O OneLake é o data lake unificado de nível empresarial integrado ao Microsoft Fabric que serve como uma camada de armazenamento centralizada para todas as cargas de trabalho de dados, incluindo Fabric Engenheiros de Dados, Fabric Data Factory, Fabric Data Science, Fabric Data Warehouse, Fabric Real-Time Intelligence, Fabric Databases e Power BI.

Lakehouse

Use uma lakehouse quando precisar de uma plataforma unificada, escalonável e flexível. É ideal para gerenciar dados estruturados, semiestruturados e não estruturados para dar suporte a análise, machine learning e relatórios. Organize dados com a arquitetura de medalhão e use camadas Bronze (bruto), Prata (validado) e Ouro (pronto para negócios) entre pastas e arquivos, bancos de dados e tabelas.

Armazém

Use Data Warehouse quando precisar de uma solução de análise baseada em SQL de alto desempenho, totalmente gerenciada, para gerenciar dados estruturados e semiestruturados organizando-os em bancos de dados, esquemas e tabelas. Ele tem suporte completo do T-SQL, incluindo a criação de procedimentos armazenados, exibições e junções.

Eventhouse

Use uma casa de eventos para gerenciar e analisar dados de eventos em tempo real e de alto volume. Ele dá suporte a dados estruturados, semiestruturados e não estruturados, como logs e telemetria, organizando-os em bancos de dados, esquemas e tabelas.

Banco de dados SQL no Fabric

Use o banco de dados SQL no Fabric quando precisar unificar cargas de trabalho transacionais e analíticas. Ele é executado no mesmo mecanismo que Banco de Dados SQL do Azure, fornece suporte completo ao T-SQL e permite a integração com o ecossistema de Fabric mais amplo.

bancos de dados Azure, fontes de dados externas e bancos de dados relacionais

Esta seção explica como trazer dados de bancos de dados Azure e plataformas como Azure Databricks, bem como plataformas não Microsoft, como o Snowflake, para Fabric.

Ingest

Fabric fornece várias abordagens para ingerir dados de bancos de dados relacionais. Utilize o espelhamento para replicar seu ambiente de dados existente no OneLake quase em tempo real sem processos complexos de ETL (extração, transformação e carregamento). Para obter mais informações, consulte fontes de dados de espelhamento com suporte.

Você também pode usar pipelines do Data Factory para ingerir dados de uma ampla gama de bancos de dados, local e na nuvem. Para ingerir os dados, você pode usar várias abordagens, como uma atividade de cópia, um trabalho de cópia ou o Dataflow Gen2. Essas opções também fornecem recursos de orquestração, transformação e agendamento. Para obter mais informações, consulte conectores com suporte.

Para ingestão baseada em SQL, use recursos T-SQL para carregar dados em escala de seus lakehouses e armazéns de dados existentes. Você pode criar novas versões de tabela que tenham dados agregados, subconjuntos filtrados ou resultados de consultas complexas.

Store

Use o espelhamento para criar uma réplica somente leitura do seu banco de dados de origem e sincronizá-la continuamente com o sistema de origem por meio de replicação quase em tempo real. O espelhamento armazena os dados no formato Delta Lake no OneLake.

Você também pode usar uma atividade de cópia de dados ou um trabalho de cópia do pipeline do Data Factory para armazenar os dados copiados de bancos de dados relacionais em um lakehouse ou data warehouse. A arquitetura do OneLake usa o formato Delta Lake, que fornece flexibilidade para implementar lakehouses usando uma estrutura de medalhão ou usar um modelo de armazém que se alinhe às suas necessidades organizacionais.

Process

Cada banco de dados espelhado inclui um ponto de extremidade SQL gerado automaticamente para consulta. O endpoint de análise SQL somente leitura suporta acesso via SQL Server Management Studio, Open Database Connectivity (ODBC), qualquer ferramenta de consulta que use a string de conexão SQL, ou a extensão MSSQL com Visual Studio Code (VS Code). Execute agregações complexas usando T-SQL ou explore dados usando notebooks Apache Spark. Consultas entre bancos de dados permitem acessar dados de bancos de dados espelhados e combiná-los com outras fontes de dados Fabric, como lakehouses e warehouses. Os procedimentos armazenados automatizam a lógica do SQL para transformações e agregações de dados, o que melhora a reutilização e centraliza a lógica para tarefas repetitivas.

O espelhamento cria um instantâneo completo de tabelas selecionadas do banco de dados de origem. Após a carga inicial, Fabric usa a CDC (captura de dados de alteração) do banco de dados de origem para controlar inserções, atualizações e exclusões. Ele replica continuamente essas alterações no OneLake com baixa latência e sincronização quase em tempo real. Você pode criar atalhos para tabelas espelhadas em um lakehouse e consultá-las por meio de blocos de anotações do Spark.

O Dataflow Gen2 limpa e forma dados analisados ao detectar inconsistências de esquema, nulos ou exceções. Depois de criar o perfil e transformar os dados, salve os dados processados nas tabelas do Data Warehouse.

Os notebooks Spark enriquecem os dados carregando-os de lakehouses ou armazéns. Treine ou carregue modelos de machine learning usando bibliotecas como scikit-learn, XGBoost ou SynapseML. Use o MLflow para acompanhar experimentos e registrar modelos. Pontuar dados com previsões em lotes escalonáveis e previsões em tempo real.

Serve

Um banco de dados espelhado gera um item de banco de dados SQL espelhado e um ponto de extremidade de análise de SQL que você pode usar para executar consultas somente leitura. Exiba dados por meio da visualização de dados ou explore diretamente no OneLake. O editor de consultas SQL permite que você crie consultas T-SQL em relação aos dados no item de banco de dados espelhado. Você pode acessar dados espelhados usando um atalho do Lakehouse e consultas do Spark para processar os dados.

Normalmente, você desejará que esses dados sejam disponibilizados em Power BI. Para fazer isso, crie modelos semânticos para simplificar a análise de dados e relações de negócios. Analistas de negócios usam relatórios e painéis do Power BI para analisar dados e obter insights de negócios por meio do modo Direct Lake para um lakehouse ou do endpoint SQL para Data Warehouse. Use Data Activator para configurar alertas em visuais Power BI para monitorar métricas de alteração frequente, definir condições de alerta e receber notificações por email ou Microsoft Teams.

O compartilhamento de dadosexternal em Fabric permite que um usuário em um locatário Fabric (o provedor) compartilhe dados com um usuário em outro locatário Fabric (o consumidor). Esse recurso dá suporte à colaboração entre organizações, mantendo limites de governança e segurança. Os consumidores de dados acessam dados somente leitura por meio dos atalhos do OneLake em seus próprios data lakes e data warehouses, bem como em bancos de dados SQL e bancos de dados espelhados. A API Fabric para GraphQL expõe dados de fontes de dados Fabric compatíveis por meio de um único ponto de extremidade de API flexível. Esse recurso é ideal para criar aplicativos modernos que exigem acesso eficiente e em tempo real a dados estruturados.

Modelos de machine learning fornecem previsões em tempo real a partir de qualquer modelo de machine learning que esteja registrado, utilizando pontos de extremidade online de machine learning seguros e escalonáveis que são configurados automaticamente. Para uma implantação em tempo real nativa do Fabric, esses pontos de extremidade são propriedades internas da maioria dos modelos Fabric. Você pode chamá-los a partir de outros mecanismos de Fabric ou aplicativos externos para uma utilização mais ampla e confiável. Um agente de dados Fabric facilita uma interface de conversa com dados de um lakehouse ou warehouse, transformando consultas em linguagem natural em consultas relevantes. Copilot no Fabric transforma questões de linguagem natural em SQL, corrige erros, fornece explicações para consultas SQL e auxilia na conclusão do código.

Plataforma de dados baseada em nuvem para o Dataverse

Esta seção explica como trazer dados do Dataverse para Fabric.

Ingest

Dataverse Link to Fabric disponibiliza Dynamics 365 e dados do Dataverse quase em tempo real em Fabric, sem a necessidade de ETL ou cópia de dados. Com o Link do Dataverse para Fabric, os engenheiros de dados podem consultar dados usando SQL, aplicar IA, combinar conjuntos de dados, remodelar informações e compilar resumos diretamente no Fabric.

Store

Quando você usa o Dataverse Link para Fabric, o Dataverse cria um lakehouse no OneLake que tem atalhos para tabelas do Dataverse, sem a necessidade de movimentação física de dados.

Process

Veja o lakehouse gerado pelo Dataverse para explorar tabelas vinculadas ao seu ambiente do Dataverse. Consulte o lakehouse gerado pelo Dataverse usando o endpoint SQL, explore os dados usando blocos de anotações Spark e acesse dados no SQL Server Management Studio ou no editor SQL. Referencie dados do Dataverse em outras casas de lago usando atalhos para reutilizar os mesmos dados sem copiá-los ou duplicá-los.

Enriquecer dados usando Data Wrangler, uma ferramenta de código baixo e sem código em notebooks Fabric. Ele permite explorar, preparar e moldar dados para análise exploratória. As operações geram código em pandas ou PySpark e você pode salvar o código no notebook como uma função reutilizável.

Serve

Os atalhos para tabelas do Dataverse criadas no OneLake dão suporte ao formato Delta Lake. Você pode preencher esses dados em um relatório Power BI do conjunto de dados padrão gerado pelo Dataverse no workspace Fabric.

Você também pode usar o Ativador de Dados para configurar alertas em visuais Power BI, monitorar métricas de alteração frequente, definir condições de alerta e receber notificações por email ou do Teams.

Fontes de dados semiestruturadas e não estruturadas

Esta seção descreve como ingerir dados semiestruturados e não estruturados em Fabric.

Ingest

Use pipelines do Data Factory para extrair dados de uma ampla gama de fontes semiestruturadas no local e na nuvem. Para extrair os dados, você pode usar várias abordagens, como uma atividade de cópia, um trabalho de cópia, Dataflow Gen2, notebooks do Spark ou envio de arquivo para o lakehouse. Considere as seguintes fontes com suporte:

• Dados ingeridos de fontes baseadas em arquivo que contêm arquivos CSV ou JSON

• Arquivos XML de sistemas herdados

• Arquivos Parquet de contas de armazenamento

• PDF, MP3, imagens, logs, documentos e outros arquivos binários

• Fabric REST APIs como uma fonte de dados para o pipeline

Use a instrução COPY INTO para ingerir dados de uma conta de armazenamento externa para cargas de trabalho SQL de alta taxa de transferência. A instrução oferece suporte aos formatos de arquivo Parquet e CSV. Crie atalhos no OneLake para fontes externas, incluindo Azure Data Lake Storage, contas de armazenamento do AWS S3 (Serviço de Armazenamento Simples da Amazon), contas do Google Cloud Storage e outras opções de armazenamento externo suário para habilitar o acesso de cópia zero e evitar a duplicação. Carregue arquivos de forma programática ou manual na pasta lakehouse. Trigger pipelines quando novos arquivos chegam usando a orquestração baseada em eventos do Fabric.

Store

Organize seus dados no lago de dados unificado do Fabric OneLake. Siga as práticas recomendadas para quais camadas criar, quais estruturas de pastas usar em cada camada e quais formatos de arquivo usar para cada cenário de análise. Armazene dados não estruturados na zona Bronze para manter dados não processados em seu formato original. Use uma casa de eventos para armazenar dados de telemetria, logs ou série temporal.

Process

Os notebooks Spark analisam e transformam dados semiestruturados. Por exemplo, você pode achatar estruturas JSON aninhadas, converter XML em formato tabular ou extrair campos-chave de arquivos de log. Os notebooks Spark também extraem conteúdo e transformam dados não estruturados por meio do Spark DataFrames.

A ingestão de T-SQL carrega dados de tabelas existentes em Fabric lakehouses ou warehouses. O Dataflow Gen2 limpa e forma dados analisados enquanto detecta inconsistências de esquema, nulos ou exceções. Depois de criar o perfil e transformar os dados, salve-os em tabelas lakehouse. Atalhos internos em dados de referência do Fabric armazenados em um lakehouse.

Os notebooks Spark enriquecem os dados à medida que você os processa. Carregue dados de lakehouses ou armazéns e, em seguida, treine ou carregue modelos de machine learning usando bibliotecas como scikit-learn, XGBoost ou SynapseML. O MLflow rastreia experimentos e registra modelos. Avaliar os dados usando previsões em lotes dimensionáveis ou previsões em tempo real.

Serve

T-SQL consulta tabelas lakehouse por meio do ponto de extremidade analítico SQL do Fabric. O endpoint de análise do SQL suporta modelos semânticos e relatórios do Power BI. O modo Direct Lake fornece análise de alto desempenho. Você também pode configurar alertas em visuais Power BI usando o Ativador de Dados para monitorar métricas de alteração frequente, definir condições de alerta e receber notificações por email ou do Teams.

O compartilhamento de dados externos no Fabric permite que um usuário em um locatário do Fabric (o provedor) compartilhe dados com um usuário em outro locatário do Fabric (o consumidor). Esse recurso dá suporte à colaboração entre organizações enquanto mantém limites de governança e segurança. Os consumidores de dados acessam dados somente leitura usando atalhos do OneLake em suas próprias casas de lago.

A API do Fabric para GraphQL expõe dados de fontes de dados do Fabric com suporte por meio de um único endpoint de API flexível. Essa abordagem é ideal para criar aplicativos modernos que precisam de acesso eficiente e em tempo real a dados estruturados.

Forneça previsões em tempo real de qualquer modelo de aprendizado de máquina registrado usando endpoints online de aprendizado de máquina seguros e escalonáveis que são configurados automaticamente. Para implantação nativa em tempo real no Fabric, use esses pontos de extremidade como propriedades embutidas da maioria dos modelos Fabric. Chame-os a partir de outros motores do Fabric ou aplicativos externos para uso confiável e abrangente. Crie um modelo semântico com base em dados de previsão e visualize os resultados em um relatório Power BI.

Um agente de dados Fabric é uma interface de conversa personalizável alimentada por IA que converte consultas de linguagem natural em insights acionáveis para seus dados do OneLake. Copilot simplifica as tarefas de visualização e análise de dados. Faça perguntas sobre tabelas lakehouse, pandas e DataFrames do Spark diretamente nos blocos de anotações. Copilot responde com explicações de linguagem natural. Os usuários empresariais podem usar o painel Copilot para fazer perguntas sobre o conteúdo do relatório e resumir rapidamente os principais insights. Eles também podem usar a seção Copilot para descobrir informações às quais já têm acesso.

Streaming

Esta seção explica como trazer dados de streaming de série temporal de alto volume para Fabric.

Ingest

Use Real-Time Intelligence para coletar dados para ingestão em tempo real por meio de um fluxo de eventos. Obtenha os dados de uma ampla gama de fontes data como dispositivos IoT (Internet das Coisas), aplicativos, hubs de eventos externos e eventos Fabric, como eventos de item workspace, eventos OneLake e eventos job. Se você precisar fazer referência a um banco de dados de origem KQL (Linguagem de Consulta Kusto), como um banco de dados existente do Azure Data Explorer no Real-Time Intelligence, poderá criar um atalho de banco de dados para acessar os dados sem duplicá-los ou reingeri-los.

Store

O Eventstream dá suporte ao roteamento de dados para destinos diferentes. Armazene grandes volumes de dados em uma casa de eventos, que é uma solução de armazenamento escalonável, otimizada e de alto desempenho. Você pode criar um banco de dados KQL em uma casa de eventos que é um banco de dados especializado projetado para análise de dados controlada por eventos usando KQL.

Process

Use um conjunto de consultas KQL para gravar, executar e gerenciar consultas KQL em várias fontes de dados em tempo real. Um conjunto de consultas KQL é uma ferramenta central na experiência de Inteligência em Tempo Real. Ele permite que os usuários explorem, analisem e visualizem dados de streaming ou de série temporal. Você pode usar o T-SQL no Real-Time Intelligence para consultar dados de streaming armazenados em bancos de dados KQL. O KQL é o idioma principal para análise em tempo real, mas Fabric também dá suporte ao T-SQL para usuários familiarizados com a análise baseada em SQL.

Para processamento entre mecanismos, ative a disponibilidade do OneLake para criar uma cópia lógica dos dados do banco de dados KQL. Você pode consultar os dados no formato Delta Lake de outros mecanismos de Fabric, como o modo Direct Lake em Power BI, armazéns, lakehouses e notebooks.

Serve

Os analistas de negócios podem criar um painel do Real-Time Intelligence, que é uma coleção de blocos controlados por consultas KQL. Você pode organizar blocos em páginas e conectá-los a fontes de dados. O painel é atualizado automaticamente, o que fornece visibilidade quase instantânea dos dados à medida que flui pelo sistema. Você também pode adicionar o Ativador de Dados a um bloco do painel para monitorar as métricas de alteração frequente, definir condições de alerta e receber notificações por email ou do Teams. Crie um relatório Power BI para gerar relatórios de modelos semânticos criados a partir do banco de dados KQL como fonte.

O compartilhamento de dados externos do Fabric permite que um usuário em um inquilino do Fabric (o provedor) compartilhe dados com um usuário em outro inquilino do Fabric (o consumidor). Ele dá suporte à colaboração entre organizações, mantendo limites de governança e segurança. Os consumidores de dados acessam dados de leitura única por meio de atalhos do OneLake em seus próprios bancos de dados KQL.

Um agente de dados Fabric pode trabalhar com bancos de dados KQL para permitir que os usuários façam perguntas, o que facilita o uso de dados em tempo real para usuários não técnicos. Copilot pode converter consultas de linguagem natural em KQL que você pode executar.

Components

Essa arquitetura usa os seguintes serviços de Fabric e Azure:

• Copilot no Fabric é um assistente de IA generativo inserido na plataforma Fabric. Nessa arquitetura, ela ajuda a criar pipelines de dados escalonáveis, criar código Spark para transformações de dados, gerar SQL otimizado para Data Warehouse, gravar consultas KQL para Real-Time Intelligence e criar modelos semânticos e medidas de DAX (Expressões de Análise de Dados) para relatórios.

• Um Fabric agente de dados é um recurso controlado por IA que ajuda os usuários a interagir com dados organizacionais usando linguagem natural. Nessa arquitetura, os agentes de dados servem como uma interface de conversa para traduzir questões de linguagem natural em consultas estruturadas, como SQL, DAX ou KQL.

• Microsoft Purview é uma plataforma unificada para governança, segurança e conformidade de dados. Nessa arquitetura, o Microsoft Purview administra todo o seu acervo de dados e linhagem, da fonte de dados ao relatório Power BI.

• Fabric compartilhamento de dados externos é um recurso que permite a colaboração segura entre locatários, permitindo que os usuários compartilhem dados de seu ambiente de Fabric com usuários em outro locatário Fabric. Nessa arquitetura, as organizações podem colaborar além dos limites de inquilinos sem duplicar dados.

• A API Fabric para GraphQL é um recurso que permite que os desenvolvedores exponham e interajam com dados usando a linguagem de consulta GraphQL. Nessa arquitetura, ela permite que os usuários desenvolvam aplicativos de dados.

• Real-Time Intelligence é uma solução de análise orientada a eventos projetada para processar, analisar e agir sobre dados de streaming. Nessa arquitetura, ele processa dados de streaming de alto volume e fornece painéis em tempo real compostos por blocos que visualizam consultas subjacentes.

• Power BI é um BI (business intelligence) e uma plataforma de visualização de dados. Nessa arquitetura, ele se conecta ao OneLake para criar dashboards e relatórios.

• Microsoft Foundry é uma paaS (plataforma unificada como serviço) para compilar, implantar e gerenciar aplicativos e agentes de IA em escala empresarial. Nessa arquitetura, os agentes do Foundry enriquecem e habilitam sistemas multiagente, e os agentes de dados do Fabric servem como especialistas em domínio ao lado de outros agentes.

• Azure Machine Learning é um serviço de nuvem de nível empresarial para gerenciar todo o ciclo de vida do aprendizado de máquina, desde a preparação e experimentação de dados até o treinamento, a implantação e o monitoramento do modelo. Nessa arquitetura, você pode habilitar os usuários a rodarem modelos de aprendizado de máquina usando endpoints de processamento em lote. Os atalhos do OneLake permitem que Machine Learning e Fabric compartilhem a mesma instância de Data Lake Storage subjacente, para que ambos os serviços possam ler e gravar sem duplicar dados.

• Gerenciamento de Custos da Microsoft é um serviço que ajuda você a rastrear, analisar e otimizar suas faturas de recursos Microsoft Azure. Nessa arquitetura, sua análise de custos e fatura no Gerenciamento de Custos exibe vários medidores associados ao recurso de capacidade do Fabric.

• Azure Key Vault é um serviço baseado em nuvem para armazenar e gerenciar com segurança informações confidenciais, como segredos, chaves e certificados. Nessa arquitetura, são gerenciadas as credenciais usadas em conexões e gateways do Fabric.

• Azure Policy é uma ferramenta de governança que impõe regras de governança em Azure recursos. Nessa arquitetura, ela garante a conformidade, a governança de dados e o controle de custos em toda a plataforma de dados Fabric.

• Microsoft Entra ID é uma solução de gerenciamento de acesso e identidade baseada em nuvem que garante o acesso seguro para usuários, dispositivos e cargas de trabalho. Nessa arquitetura, ele permite que os usuários entrem no Fabric usando suas credenciais de Microsoft Entra ao impor controles de acesso Confiança Zero.

• Azure DevOps é um conjunto de ferramentas e serviços de desenvolvimento que Microsoft fornece para dar suporte a todo o ciclo de vida de desenvolvimento de software. Nessa arquitetura, Azure DevOps integra-se a Fabric workspaces para gerenciar o ciclo de vida e fornecer controle do código-fonte.

• GitHub é uma plataforma baseada em nuvem para controle de versão e colaboração que permite que os desenvolvedores armazenem, gerenciem e acompanhem as alterações em seu código. Nessa arquitetura, GitHub integra-se a workspaces Fabric para dar suporte ao gerenciamento do ciclo de vida e ao controle do código-fonte.

• O recurso workspace monitoring no Fabric permite coletar, analisar e visualizar logs e métricas de itens do Fabric em um workspace. Nessa arquitetura, ela ajuda a executar o diagnóstico de consulta em seu ambiente de Fabric, identificar problemas, criar painéis de monitoramento personalizados e definir alertas.

Alternatives

Fabric fornece um conjunto de ferramentas para gerenciar cargas de trabalho de dados e análise com eficiência. Com tantas opções disponíveis, selecionar a ferramenta certa pode ser desafiador. Esses guias de decisão fornecem um roteiro para ajudá-lo a avaliar as opções e determinar a estratégia mais eficaz.

• Para ver comparações de outras alternativas, consulte os seguintes recursos:

  • Choose um tipo de ingestão em Fabric
  • Escolha uma estratégia de integração de dados no Fabric
  • Escolha uma estratégia de movimentação de dados no Fabric
  • Escolha um armazenamento de dados no Fabric
  • entre um armazém e uma lakehouse em Fabric

Detalhes do cenário

Este cenário de exemplo mostra como Fabric facilita as empresas na criação de uma plataforma de dados unificada e moderna que simplifica a integração, acelera insights e reduz a complexidade operacional. Ele ajuda as organizações a superar os desafios comuns de dados, ao mesmo tempo em que impulsionam a escalabilidade, a governança e a eficiência de custos.

Possíveis casos de uso

• Modernize a plataforma de dados corporativos substituindo ferramentas fragmentadas por uma solução unificada.

• Estabeleça uma arquitetura de lago em camadas usando casas do lago Fabric, com uma camada de Bronze para ingestão de dados brutos, uma camada de Prata para dados limpos e transformados e uma camada de Ouro para dados prontos para uso em análise e IA. Crie armazéns como soluções específicas de área de assunto ou domínio projetadas para tópicos que exigem análise personalizada.

• Integre fontes de dados relacionais com conjuntos de dados não estruturados usando motores de computação do Fabric.

• Forneça análise operacional em tempo real para monitorar e agir sobre dados de streaming com Inteligência em Tempo Real.

• Gere insights de clientes com suporte de IA para melhorar os dados e gerar valor comercial.

• Forneça relatórios corporativos e BI de autoatendimento por meio de modelagem semântica e ferramentas de visualização avançadas.

• Habilite o compartilhamento de dados entre locatários através de atalhos do OneLake e de compartilhamento de dados externos.

• Integre Fabric agentes de dados ao Microsoft Foundry ou Microsoft Copilot Studio para criar soluções de IA inteligentes, conversacionais e com reconhecimento de contexto para usuários e aplicativos empresariais.

Recommendations

Considere as seguintes recomendações.

Descubra e governe

A governança de dados é um desafio comum em ambientes de grandes empresas. Os analistas de negócios precisam descobrir e entender os ativos de dados para resolver problemas de negócios, enquanto os diretores de dados buscam insights sobre a privacidade e a segurança dos dados comerciais.

Microsoft Purview

Microsoft Purview governança de dados consiste em duas soluções. O Catálogo Unificado e o Mapa de Dados fornecem uma experiência de governança moderna consolidando metadados de diversos catálogos e fontes. Essa integração permite visibilidade, fortalece a confiança dos dados e dá suporte à inovação responsável em toda a empresa.

Mantenha os termos do glossário com a terminologia de negócios específica que os usuários precisam para entender a semântica e o uso do conjunto de dados em toda a organização. Registre fontes de dados e organize-as em coleções, que também servem como limites de segurança para metadados. Configure verificações regulares para catalogar e atualizar automaticamente metadados relevantes sobre ativos de dados organizacionais. Quando um locatário do Fabric é verificado, metadata e linhagem de dados de ativos do Fabric, incluindo Power BI, são ingeridos automaticamente no catálogo de dados unificado da Microsoft Purview. Atribua automaticamente rótulos de classificação de dados e confidencialidade de dados a ativos de dados com base em regras pré-configuradas ou personalizadas durante as verificações.

Use o gerenciamento de integridade do Catálogo Unificado para monitorar a integridade geral do cenário de dados e proteger a organização contra riscos de segurança e privacidade. Um hub Microsoft Purview integrado no Fabric fornece insights sobre inventário de dados, rótulos de confidencialidade e aprovações. Ele serve como um gateway para se conectar com recursos de Microsoft Purview mais amplos.

Serviços de plataforma

Fabric dá suporte a vários padrões de deployment que ajudam as organizações a alinhar sua arquitetura de dados com necessidades de negócios, modelos de governança e requisitos de desempenho. Esses padrões são definidos nos níveis de implantação de locatário, capacidade, espaço de trabalho e item. Cada padrão fornece diferentes compensações em escalabilidade, isolamento, custo e complexidade operacional.

O design incorpora vários serviços de Azure fundamentais. Microsoft Entra ID fornece serviços de identidade, SSO (logon único) e autenticação multifator em cargas de trabalho Azure. O Gerenciamento de Custos fornece governança financeira para suas cargas de trabalho Azure. Key Vault gerencia credenciais e certificados com segurança. Ao configurar um key vault no Fabric, você pode recuperar credenciais e certificados do serviço Key Vault. Use essas credenciais para acessar armazenamentos de dados que não dão suporte à autenticação integrada, como fontes locais ou externas.

Azure Monitor coleta, analisa e atua na telemetria de recursos Azure para identificar proativamente problemas e maximizar o desempenho e a confiabilidade. Azure DevOps e GitHub Enterprise implementam operações de desenvolvimento (DevOps) para impor a automação e a conformidade nos pipelines de desenvolvimento e implantação de carga de trabalho da Fabric. Essa abordagem permite o controle de versão, a colaboração e o gerenciamento do ciclo de vida. Azure Policy impõe padrões organizacionais e governança para garantir a consistência dos recursos, a conformidade regulatória, a segurança, o controle de custos e o gerenciamento.

Considerations

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

Para estimar os custos, use essa estimativa prefigurada na calculadora de preços Azure. Ajuste os valores para ver como seus custos mudam com base em seus requisitos específicos. O tipo de preço ideal e o custo total de cada serviço na arquitetura dependem da quantidade de dados processados e armazenados e do nível de desempenho esperado.

Use o guia a seguir para explorar as principais estratégias de otimização de custo para Fabric:

• A capacidade do Fabric é um conjunto compartilhado que alimenta todos os recursos do Fabric, desde engenharia de dados e armazenamento de dados até modelagem de dados, BI (Inteligência de Negócios) e experiências de IA. A Microsoft cobra por unidade de capacidade (CUs) por hora com opções de pagamento conforme o uso ou reserva. Pagamento conforme o uso fornece flexibilidade para pagar apenas pelas horas que você usa a capacidade do Fabric. Você pode pausar as capacidades quando não estiver em uso para gerenciar custos, sem precisar de um compromisso mensal ou anual. As reservas fornecem cobrança previsível e normalmente proporcionam economia para cargas de trabalho estáveis. O armazenamento OneLake fornece uma única cópia de dados em todos os mecanismos analíticos sem a necessidade de mover ou duplicar dados.

• A ferramenta Fabric estimativa de capacidade ajuda a estimar as necessidades de capacidade e determinar os requisitos apropriados de SKU e armazenamento com base nas características da carga de trabalho. Monitore o uso e o consumo usando o aplicativo Fabric Capacity Metrics para mostrar a utilização da capacidade. O Gerenciamento de Custos controla o uso e define alertas de orçamento. Para obter mais informações, consulte Compreenda a sua fatura do Azure para uma capacidade do Fabric. Os guias de solução de problemas de capacidade Fabric fornecem recursos para monitorar e otimizar proativamente o uso da capacidade.

• O aplicativo Fabric Chargeback (versão prévia) ajuda as organizações a acompanhar, analisar e alocar custos de uso de capacidade entre unidades de negócios, usuários e cargas de trabalho que usam Fabric. Ele dá suporte a modelos de chargeback e showback para permitir uma distribuição de custos justa e transparente com base no consumo efetivo. Microsoft Purview preço depende do número de ativos de dados no catálogo e do poder de computação necessário para examiná-los.

Excelência operacional

A Excelência operacional abrange os processos de operações que implantam uma aplicação e as mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação de revisão de design para Excelência Operacional.

• Adote uma metodologia consistente de IaC (infraestrutura como código) para provisionar capacidades de Fabric usando Bicep, modelos do Azure Resource Manager (ARM templates) e Terraform. Integre workspaces do Fabric com o Git para o gerenciamento do ciclo de vida de aplicativos Fabric e use pipelines de implantação para CI/CD (integração contínua e implantação contínua).

• Use o hub monitoring para monitorar as atividades de Fabric. O workspace de monitoramento de administrador oferece um espaço dedicado para administradores do Fabric supervisionarem e gerenciarem as operações do inquilino. Ele fornece relatórios internos para visão geral da atividade, detalhes da atividade e governança, o que permite que os administradores monitorem cargas de trabalho e uso com eficiência. Envie mensagens do Teams em chats de grupo ou canais para notificar o status do pipeline. Para notificações por email, use a atividade Microsoft 365 Outlook.

• Aplique políticas de governança por meio de Microsoft Purview. Agende revisões de Well-Architected regulares e sprints de otimização. Para obter mais informações sobre novos recursos em Fabric e quando esperar, consulte Fabric roteiro. Implemente uma arquitetura semelhante em ambientes de pré-produção em que você desenvolva e teste sua plataforma. Considere os requisitos específicos de sua plataforma e os recursos de cada serviço para criar um ambiente de pré-produção econômico.

Contributors

Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autores principais:

• Kevin Lee | Arquiteto de Soluções na Nuvem
• Lavanya Sreedhar | Arquiteto sênior de soluções de nuvem

Para ver perfis de LinkedIn não públicos, entre em LinkedIn.

Próximas etapas

• Roteiro de adoção do Fabric
• Comece com o Fabric