Planeie a gestão de custos do Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como planeia e gere os custos do Azure Data Factory.

Primeiro, no início do projeto ETL, utiliza-se uma combinação dos calculadores de preços do Azure e de consumo e preços por pipeline para ajudar a planear os custos do Azure Data Factory antes de adicionar quaisquer recursos ao serviço para estimar custos. De seguida, à medida que adicionas recursos do Azure, revê os custos estimados. Depois de começar a usar os recursos do Azure Data Factory, utilize as funcionalidades de Gestão de Custos para definir orçamentos e monitorizar custos. Também pode rever custos previstos e identificar tendências de despesa para identificar áreas onde poderá querer atuar. Os custos do Azure Data Factory são apenas uma parte dos custos mensais na sua fatura Azure. Observe que este artigo explica apenas como planejar e gerenciar custos para o data factory. É cobrado por todos os serviços e recursos do Azure usados na sua subscrição do Azure, incluindo os serviços de terceiros.

Pré-requisitos

A análise de custos na Gestão de Custos suporta a maioria dos tipos de contas no Azure, mas não todos. Para ver a lista completa dos tipos de contas suportados, consulte Compreender os dados do Cost Management. Para visualizar dados de custos, é necessário pelo menos acesso de leitura para uma conta no Azure. Para informações sobre como atribuir acesso a Gestão de Custos do Azure dados, veja Atribuir acesso aos dados.

Estima os custos antes de usar o Azure Data Factory

Use a calculadora de preços ADF para obter uma estimativa do custo de executar a sua carga de trabalho ETL em Azure Data Factory. Para usar a calculadora, tem de introduzir detalhes como número de execuções de atividade, número de unidades de integração de dados-hora, tipo de cálculo usado para o Fluxo de Dados, número de núcleos, número de instâncias, duração de execução, etc.

Uma das perguntas mais comuns para a calculadora de preços é quais valores devem ser usados como entradas. Durante a fase de prova de conceito, você pode conduzir execuções de teste usando conjuntos de dados de amostra para entender o consumo de vários medidores ADF. Em seguida, com base no consumo do conjunto de dados de exemplo, você pode projetar o consumo para o conjunto de dados completo e o cronograma operacional.

Por exemplo, digamos que precisa de mover 1 TB de dados diariamente do AWS S3 para o Azure Data Lake Gen2. Você pode executar POC de mover 100 GB de dados para medir a taxa de transferência de ingestão de dados e entender o consumo de faturamento correspondente.

Aqui está um exemplo de detalhe de execução de uma atividade de cópia (a sua experiência real pode variar dependendo da configuração específica do seu conjunto de dados, das velocidades de rede, dos limites de saída na sua conta no AWS S3, dos limites de entrada no ADLS Gen2, entre outros fatores).

Ao utilizar a monitorização de consumo ao nível da execução de pipeline, pode ver as quantidades correspondentes de consumo do medidor de movimento de dados.

Portanto, o número total de horas DIU necessárias para mover 1 TB por dia durante todo o mês é:

1,2667 (DIU-horas) * (1 TB / 100 GB) * 30 (dias em um mês) = 380 DIU-horas

Agora você pode conectar 30 execuções de atividade e 380 horas DIU na calculadora de preços do ADF para obter uma estimativa da sua fatura mensal:

Compreenda o modelo completo de faturação do Azure Data Factory

O Azure Data Factory corre numa infraestrutura Azure que acumula custos quando implementas novos recursos. É importante entender que outros custos extras de infraestrutura podem se acumular.

Como são calculados os custos do Azure Data Factory

Azure Data Factory é um serviço de integração de dados serverless e elástico, concebido para escala na cloud. Não há um cálculo de tamanho fixo que você precisa planejar para a carga de pico; em vez disso, você especifica quanto recurso alocar sob demanda por operação, o que permite projetar os processos de ETL de uma maneira muito mais escalável. Além disso, o ADF é cobrado em um plano baseado no consumo, o que significa que você paga apenas pelo que usar.

Quando cria ou utiliza recursos do Azure Data Factory, pode ser cobrado pelas seguintes unidades de medida:

• Execuções de atividades de orquestração - A cobrança é feita com base no número de execuções de atividades orquestradas.
• Horas da Unidade de Integração de Dados (DIU) - Para atividades de cópia executadas em Azure Integration Runtime, é cobrado com base no número de DIU usados e na duração da execução.
• vCore Hours - para processamento e depuração de fluxos de dados, és cobrado com base no tipo de capacidade de processamento, número de vCores e duração da execução.

No fim do ciclo de faturação, são somados os custos de cada medidor. A sua fatura mostra uma secção para todos os custos do Azure Data Factory. Há um item de linha separado para cada medidor.

Outros custos que podem surgir com o Azure Data Factory

Quando cria recursos para o Azure Data Factory (ADF), também são criados recursos para outros serviços Azure. Estas incluem:

• Execução da atividade de pipeline
• Execução de atividade de pipeline externa
• Criação, edição, recuperação e monitorização de artefactos do Data Factory
• Duração do SSIS Integration Runtime (IR) com base no tipo e duração da instância

Usando Azure Prepayment com Azure Data Factory

Pode pagar as despesas do Azure Data Factory com o seu crédito de pré-pagamento Azure. No entanto, não pode usar o crédito de pré-pagamento do Azure para pagar taxas por produtos e serviços de terceiros, incluindo os do Azure Marketplace.

Monitorizar os custos

Os custos do Azure Data Factory podem ser monitorizados nos níveis de fábrica, pipeline, pipeline-run e activity-run.

Monitore os custos no nível da fábrica com a Análise de Custos

Ao usar recursos do Azure com o Data Factory, incorre em custos. Os custos unitários de utilização de recursos do Azure variam consoante intervalos de tempo (segundos, minutos, horas e dias) ou por utilização unitária (bytes, megabytes, etc.). Assim que a utilização do Data Factory começa, os custos são incorridos e pode ver os custos em análise de custos.

Ao usar a análise de custos, você visualiza os custos do Data Factory em gráficos e tabelas para diferentes intervalos de tempo. Alguns exemplos são por dia, mês atual e anterior, e ano. Você também visualiza os custos em relação aos orçamentos e custos previstos. Mudar para visualizações mais longas ao longo do tempo pode ajudá-lo a identificar tendências de gastos. E você vê onde o excesso de gastos pode ter ocorrido. Se você criou orçamentos, também pode ver facilmente onde eles são excedidos.

Para visualizar os custos do Data Factory na análise de custos:

1. Inicie sessão no portal Azure.
2. Abra o âmbito no portal Azure e selecione Análise de custos no menu. Por exemplo, aceda a Subscrições, selecione uma subscrição na lista e, em seguida, selecione Análise de custos no menu. Selecione Escopo para alternar para um escopo diferente na análise de custos.
3. Por padrão, o custo dos serviços é mostrado no primeiro gráfico de rosquinhas. Selecione a área no gráfico rotulada Azure Data Factory v2.

Os custos mensais reais são mostrados quando você abre inicialmente a análise de custos. Aqui está um exemplo mostrando todos os custos mensais de uso.

• Para restringir os custos de um único serviço, como o Data Factory, selecione Adicionar filtro e, em seguida, selecione Nome do serviço. Depois, selecione Azure Data Factory v2.

Aqui está um exemplo que mostra os custos apenas para o Data Factory.

No exemplo anterior, vê o custo atual do serviço. Também são mostrados os custos por regiões do Azure (localizações) e os custos da Data Factory por grupo de recursos. A partir daqui, você pode explorar os custos por conta própria.

Monitore os custos no nível do pipeline com a Análise de Custos

Em certos casos, pode querer uma discriminação detalhada do custo das operações dentro da nossa fábrica, por exemplo, para fins de estorno. Integrando a plataforma de Faturação Azure análise de custos, o Data Factory pode separar as cobranças para cada pipeline. Ao optando pelos relatórios detalhados de faturação do Azure Data Factory para uma fábrica, pode compreender melhor quanto cada pipeline lhe está a custar, dentro da fábrica mencionada.

Você precisa aderir a cada fábrica para a qual deseja faturamento detalhado. Para ativar a funcionalidade de faturamento detalhado por pipeline,

1. Vá ao Azure Data Factory portal
2. Na guia Gerenciar, selecione Configuração de fábrica na seção Geral
3. Selecione Exibir relatório de faturamento por pipeline
4. Publicar a alteração

Quando o recurso estiver habilitado, cada pipeline terá uma entrada separada em nosso relatório de faturamento: ele mostra exatamente quanto custa cada pipeline, no intervalo de tempo selecionado. Ele permite que você identifique tendências de gastos e perceba gastos excessivos, se houver.

Usando as ferramentas gráficas da Análise de Custos, você obtém gráficos e linhas de tendências semelhantes aos mostrados acima, mas para pipelines individuais. Você também obtém a visualização de resumo por nome de fábrica, pois o nome da fábrica é incluído no relatório de faturamento, permitindo a filtragem adequada quando necessário.

A mudança impacta apenas a forma como as contas são emitidas daqui para frente, e não altera cobranças passadas. Por favor, aguarde algum tempo para que a alteração apareça no relatório de faturação: normalmente, a alteração é refletida em até 1 dia.

Limitações

A seguir estão as limitações conhecidas dos recursos de faturamento por canalização. Esses medidores de faturamento não serão registados sob o pipeline que os opera, mas sim sob uma categoria de linha alternativa para a sua fábrica.

• Encargos de operações do Data Factory, incluindo leitura/gravação e monitoramento
• Encargos de nodes de Azure Data Factory SQL Server Integration Services (SSIS)
• Se tiver Time to Live (TTL) configurado para o Azure Integration Runtime (Azure IR), as atividades de Fluxo de Dados executadas nessas RIs não serão registadas em pipelines individuais.

Monitorizar o consumo ao nível de pipeline run no Azure Data Factory

Dependendo dos tipos de atividades que tem no seu pipeline, da quantidade de dados que está a mover e transformar, e da complexidade da transformação, executar um pipeline fará girar diferentes contadores de faturação no Azure Data Factory.

Pode ver o volume de consumo para diferentes contadores em execuções individuais de pipeline na interface do utilizador do Azure Data Factory. Para abrir a interface de monitorização, selecione o Monitor & Gerir mosaico no painel do Azure Data Factory. Se você já estiver na UX do ADF, selecione no ícone Monitor na barra lateral esquerda. A exibição de monitoramento padrão é a lista de execuções de pipeline.

Clicar no botão Consumo ao lado do nome do pipeline irá exibir uma janela pop-up mostrando o consumo da execução do pipeline agregado entre todas as atividades no pipeline.

A vista de consumo da execução do pipeline mostra a quantidade consumida por cada medidor ADF para essa execução específica do pipeline, mas não mostra o preço real cobrado, porque o valor faturado depende do tipo de conta Azure que possui e do tipo de moeda utilizada. Para ver a lista completa dos tipos de contas suportados, consulte Compreender os dados do Cost Management.

Monitorizar o consumo ao nível da atividade executada no Azure Data Factory

Depois de entender o consumo agregado no nível de execução do pipeline, há cenários em que você precisa detalhar ainda mais e identificar qual é a atividade mais cara dentro do pipeline.

Para ver o consumo ao nível de execução de atividade, vá para a interface de utilizador Author & Monitor da sua fábrica de dados. Na guia Monitor, onde se vê uma lista de execuções de pipeline, selecione o link do nome do pipeline para aceder à lista de execuções de atividade no pipeline. Selecione no botão Saída ao lado do nome da atividade e procure a propriedade billableDuration na saída JSON:

Aqui está um exemplo de um resultado de uma atividade de cópia:

E aqui está um exemplo de uma execução de atividade do Mapping Fluxo de Dados:

Criar orçamentos

Pode criar orçamentos para gerir custos e criar alertas que notifiquem automaticamente as partes interessadas das anomalias nos gastos e do risco em fazer gastos excessivos. Os alertas são baseados nos gastos em comparação com os orçamentos e os limites de custos. Os orçamentos e alertas são criados para subscrições e grupos de recursos do Azure, por isso são úteis como parte de uma estratégia global de monitorização de custos.

Os orçamentos podem ser criados com filtros para recursos ou serviços específicos no Azure se quiseres mais detalhe presente na tua monitorização. Os filtros ajudam a garantir que você não crie acidentalmente novos recursos que custam dinheiro extra. Para obter mais informações sobre as opções de filtro disponíveis quando você cria um orçamento, consulte Opções de grupo e filtro.

Exportar dados de custo

Também pode exportar os dados de custos para uma conta de armazenamento. Isso é útil quando você ou outras pessoas precisam fazer outra análise de dados para custos. Por exemplo, as equipas financeiras podem analisar os dados usando Excel ou Power BI. Você pode exportar seus custos em uma programação diária, semanal ou mensal e definir um intervalo de datas personalizado. A exportação de dados de custo é a maneira recomendada de recuperar conjuntos de dados de custo.

Conteúdos relacionados

• Aprenda como otimizar o seu investimento na cloud com Gestão de Custos do Azure.
• Saiba mais sobre como gerenciar custos com análise de custos.
• Saiba como evitar custos inesperados.
• Faça o curso de aprendizagem guiada em Gestão de Custos.
• Azure Data Factory página de preços
• Compreender Azure Data Factory através de exemplos
• Azure Data Factory calculadora de preços