Suporte de carga grande com o Agendador de Tarefas Duráveis (versão prévia)

Antes de habilitar o recurso, verifique se seu aplicativo:

• Usa o worker isolado do .NET.
• Referências Microsoft.Azure.Functions.Worker.Extensions.DurableTask e Microsoft.Azure.Functions.Worker.Extensions.DurableTask.AzureManaged.
• Define AzureWebJobsStorage para a conta de armazenamento que contém cargas externadas.
• Define DTS_CONNECTION_STRING e TASKHUB_NAME para o agendador de destino e o hub de tarefas.

Em seguida, habilite o armazenamento de carga grande no host.json:

{
  "version": "2.0",
  "extensions": {
    "durableTask": {
      "storageProvider": {
        "type": "azureManaged",
        "connectionStringName": "DTS_CONNECTION_STRING",
        "largePayloadStorageEnabled": true,
        "largePayloadStorageThresholdBytes": 900000
      },
      "hubName": "%TASKHUB_NAME%"
    }
  }
}

Defina largePayloadStorageThresholdBytes abaixo do limite de tamanho da mensagem do Agendador de Tarefas Duráveis para que o runtime externalize os conteúdos antes que eles se aproximem do limite.

Use as APIs padrão do Durable Functions em seu código de orquestrador e atividade. O runtime resolve automaticamente as referências de blob antes de context.GetInput<T>() e context.CallActivityAsync<T>() retornarem os dados.

Por padrão, a extensão grava cargas externadas no durabletask-payloads contêiner na conta de armazenamento configurada por AzureWebJobsStorage.

Para obter exemplos de ponta a ponta, confira estes exemplos:

• Exemplo de grande carga do Durable Functions
• Exemplo de fan-out/fan-in de carga grande em Durable Functions

O suporte para grandes volumes de dados com o Agendador de Tarefas Duráveis só está disponível para aplicativos .NET de Durable Functions isolados em C#.

O suporte para carga grande com o Agendador de Tarefas Duráveis está disponível apenas para aplicativos .NET de funções duráveis em C# isolados.

O suporte a cargas grandes com o Agendador de Tarefas Duráveis só está disponível para aplicativos .NET Durable Functions C# isolados.

O suporte a grandes cargas com o Agendador de Tarefas do Durable está disponível apenas para aplicativos isolados de Funções Duráveis em C# para .NET.

Instale o pacote de extensão de carga útil do Azure Blob:

dotnet add package Microsoft.DurableTask.Extensions.AzureBlobPayloads

Instale o cliente Azure gerenciado e os pacotes de trabalho para o Agendador de Tarefas Duráveis:

dotnet add package Microsoft.DurableTask.Client.AzureManaged
dotnet add package Microsoft.DurableTask.Worker.AzureManaged

Registre um armazenamento de carga externalizado, escolha um limite e habilite a resolução de payload no cliente e no trabalhador:

builder.Services.AddExternalizedPayloadStore(options =>
{
    options.ExternalizeThresholdBytes = 900_000;
    options.ConnectionString = builder.Configuration["PAYLOAD_STORAGE_CONNECTION_STRING"]
        ?? "UseDevelopmentStorage=true";
    options.ContainerName = "durabletask-payloads";
});

builder.Services.AddDurableTaskClient(client =>
{
    client.UseDurableTaskScheduler(schedulerConnectionString);
    client.UseExternalizedPayloads();
});

builder.Services.AddDurableTaskWorker(worker =>
{
    worker.UseDurableTaskScheduler(schedulerConnectionString);
    worker.UseExternalizedPayloads();
});

Se você usar Microsoft Entra ID em vez de uma cadeia de conexão de armazenamento, defina options.AccountUri e options.Credential. O exemplo usa DefaultAzureCredential e, opcionalmente, pode direcionar uma identidade gerenciada atribuída pelo usuário.

Mantenha ExternalizeThresholdBytes em 1,048,576 bytes ou abaixo. O exemplo usa 900,000 bytes para que os payloads sejam descarregados antes de se aproximarem do limite de mensagens do agendador de 1 MiB.

Para obter um exemplo de .NET de ponta a ponta, consulte o exemplo de grande carga útil do SDK Durable Task.

O suporte para grandes cargas com o Agendador de Tarefas Duráveis está disponível para os SDKs de Tarefa Durável do .NET e Python.

O suporte para carga grande com o Agendador de Tarefas Duráveis está disponível para os SDKs de Tarefas Duráveis .NET e Python.

Instale o SDK do Python com a extensão de payload Blob do Azure e o pacote de transporte gerenciado do Azure.

pip install durabletask[azure-blob-payloads] durabletask-azuremanaged

Crie um BlobPayloadStore, escolha um limite e passe o mesmo repositório para o trabalhador e o cliente:

from durabletask.azuremanaged.client import DurableTaskSchedulerClient
from durabletask.azuremanaged.worker import DurableTaskSchedulerWorker
from durabletask.extensions.azure_blob_payloads import BlobPayloadStore, BlobPayloadStoreOptions

store = BlobPayloadStore(BlobPayloadStoreOptions(
    connection_string=storage_connection_string,
    container_name="durabletask-payloads",
    threshold_bytes=900_000,
))

with DurableTaskSchedulerWorker(
    host_address=endpoint,
    secure_channel=secure_channel,
    taskhub=taskhub_name,
    token_credential=credential,
    payload_store=store,
) as worker:
    worker.start()

    client = DurableTaskSchedulerClient(
        host_address=endpoint,
        secure_channel=secure_channel,
        taskhub=taskhub_name,
        token_credential=credential,
        payload_store=store,
    )

Se você usar o Microsoft Entra ID em vez de uma cadeia de conexão de armazenamento, defina account_url e credential em BlobPayloadStoreOptions. O exemplo usa DefaultAzureCredential.

Mantenha threshold_bytes em 1,048,576 bytes ou abaixo. O exemplo atual usa 1,024 bytes para que você possa ver a externalização da carga acontecer durante uma execução local.

Para obter um exemplo de Python de ponta a ponta, consulte o exemplo de carga útil grande do SDK de Tarefas Duráveis em Python.

O suporte de carga grande com o Agendador de Tarefas Duráveis está disponível para os SDKs de Tarefas Duráveis em .NET e Python.

A ACTIVITY_COUNT configuração é usada apenas pelo LargePayloadFanOutFanIn exemplo. O LargePayload exemplo de viagem de ida e volta não o lê.

O suporte a cargas grandes com o Agendador de Tarefas Duráveis está disponível apenas para aplicativos C# de Durable Functions isolados no .NET.

O suporte para grande carga útil com o Agendador de Tarefas Duráveis só está disponível para aplicativos .NET de Durable Functions C# isolados.

O suporte para cargas grandes com o Agendador de Tarefas Duráveis só está disponível para aplicativos .NET isolados de Durable Functions em C#.

O suporte para cargas grandes com o Agendador de Tarefas Duráveis está disponível apenas para aplicativos de Funções Duráveis C# isoladas no .NET.

Se PAYLOAD_STORAGE_CONNECTION_STRING não estiver definido e PAYLOAD_STORAGE_ACCOUNT_URI for fornecido, o exemplo usará DefaultAzureCredential. Se você precisar de uma identidade específica atribuída pelo usuário, defina PAYLOAD_STORAGE_MANAGED_IDENTITY_CLIENT_ID ou AZURE_CLIENT_ID.

As configurações de exemplo são mostradas para .NET e Python.

As configurações de exemplo são mostradas para .NET e Python.

O exemplo de Python define threshold_bytes em código com BlobPayloadStoreOptions.

As configurações de exemplo são mostradas para .NET e Python.