Configurar buffer de datos y persistencia de disco para flujos de datos

Cuando un flujo de datos envía mensajes a un punto de conexión de destino, como Azure Event Hubs, Microsoft Fabric Real-Time Intelligence, Kafka u otro servicio en la nube, el destino o la red podrían dejar de estar disponibles. Operaciones de IoT de Azure usa el modelo de suscripción de agente MQTT local para almacenar en búfer los mensajes y volver a intentar la entrega.

En este artículo se explica cómo los flujos de datos protegen los mensajes durante las interrupciones de destino y cómo configurar el almacenamiento en búfer de agente y la persistencia de disco para una mayor protección.

Cómo fluyen los mensajes de búfer durante las interrupciones de destino

Cuando se usa el broker MQTT local como origen en un flujo de datos, ya sea directa o indirectamente a través de activos que publican en él, el flujo de datos recibe mensajes del broker MQTT como suscriptor. El flujo de datos confirma cada mensaje de origen después de que el mensaje se procese correctamente y se entregue al destino, o después de que el mensaje se quite intencionadamente debido al filtrado, la validación del esquema o la expiración del mensaje.

Si el punto de conexión de destino no está disponible, la entrega no se puede completar. En este caso, el flujo de datos no reconoce el mensaje de origen. El broker MQTT mantiene el mensaje en la cola del suscriptor y el flujo de datos reintenta la entrega. Cuando se restaura la conectividad, el flujo de datos envía los mensajes en cola al destino y los confirma después de su entrega exitosa.

La ruta del mensaje es: editor o recurso al MQTT broker, MQTT broker al flujo de datos, y flujo de datos al punto de conexión de destino.

1. El agente MQTT entrega un mensaje al flujo de datos.
2. El flujo de datos envía el mensaje al punto de conexión de destino.
3. Si el envío se realiza correctamente, el flujo de datos confirma el mensaje de origen y el agente lo quita de la cola del suscriptor.
4. Si se produce un error en el envío, el flujo de datos no reconoce el mensaje de origen. El broker lo mantiene en la cola.
5. El flujo de datos vuelve a intentar la entrega hasta que se realiza correctamente, el mensaje expira o se aplica un límite configurado.

Capas de configuración de protección de datos

Use las siguientes capas de configuración para controlar cómo se almacenan en búfer los mensajes y se protegen durante las interrupciones de destino.

La cola de suscriptores del agente MQTT local se almacena en memoria de forma predeterminada. Puede configurar el agente MQTT para usar el disco de dos maneras diferentes:

• Búfer de mensajes respaldados en disco: usa el disco como buffer de reserva cuando las colas crecen más allá de la memoria disponible. Esta configuración ayuda con acumulaciones temporales más grandes, pero no es lo mismo que la persistencia duradera en los reinicios del intermediario.
• Persistencia del agente MQTT: conserva los datos de agente seleccionados, incluidas las colas de suscriptor, en el disco para que los mensajes en cola puedan sobrevivir a los reinicios o la pérdida de energía.

Para obtener detalles de configuración del broker, consulte:

• Configurar la configuración del broker para alta disponibilidad, escalado y uso de memoria
• Configuración del comportamiento del búfer de mensajes con respaldo en disco
• Configurar la persistencia del servidor MQTT
• Configuración de las opciones de cliente MQTT del agente

Elija una configuración de búfer

Elija una configuración basada en los requisitos de duración de interrupción y durabilidad de la carga de trabajo:

• En el caso de interrupciones de red o nube transitorias breves, la cola de suscriptores en memoria predeterminada podría ser suficiente.
• Para un mayor rendimiento o interrupciones temporales más largas, configure el búfer de mensajes respaldado por disco.
• Para la protección de reinicio o pérdida de energía, habilite la persistencia del servidor MQTT y la persistencia de la cola de suscriptores, para después habilitar requestDiskPersistence en el flujo de datos o en el gráfico de flujo de datos.
• En el caso de los entornos de almacenamiento limitados, configure los límites de la cola de suscriptores, la expiración de mensajes y la supervisión, de modo que el agente aplique los límites de cola y elimine o rechace los mensajes según la directiva.

Ejemplo: Interrupción en el destino

Supongamos que crea un flujo de datos mediante el agente MQTT local predeterminado como punto de conexión de origen y Azure Event Hubs como punto de conexión de destino. Si se pierde la conectividad entre el flujo de datos y Azure Event Hubs, el flujo de datos vuelve a intentar enviar y no reconoce los mensajes de origen. El broker MQTT pone en cola los mensajes no confirmados. Con la configuración predeterminada, la cola se almacena en memoria. Con un búfer de mensajes respaldado en disco, la cola puede volcarse al disco. Con la persistencia del agente y el flujo de datos requestDiskPersistence, los mensajes en cola pueden sobrevivir a los reinicios del agente, sujetos a los límites configurados de persistencia, expiración y almacenamiento.

Habilitación de la persistencia de disco para un flujo de datos

La persistencia del disco permite que los flujos de datos y los gráficos de flujo de datos sigan procesando el estado entre reinicios. Al habilitar esta característica, el agente MQTT conserva los datos, como los mensajes de la cola de suscriptores, en el disco. Este enfoque ayuda a asegurarse de que el origen de datos del flujo de datos no pierde los datos en cola durante las interrupciones de energía o los reinicios del agente. El agente mantiene un rendimiento óptimo porque la persistencia está configurada por flujo de datos, por lo que solo los flujos de datos que lo necesitan usan esta característica.

El flujo de datos solicita persistencia durante la suscripción mediante una propiedad de usuario MQTTv5. Esta característica solo funciona cuando:

• El flujo de datos usa el servidor MQTT o el recurso como origen.
• El agente MQTT tiene la persistencia habilitada con el modo de persistencia dinámico establecido Enabled para el tipo de datos, como las colas de suscriptores.

Para obtener más información sobre la configuración de persistencia del corredor MQTT, consulte Configuración de la persistencia del corredor MQTT .

La configuración acepta Enabled o Disabled. Disabled es el valor predeterminado.

Configuración de un flujo de datos

{
    "mode": "Enabled",
    "requestDiskPersistence": "Enabled",
    "operations": [
        // ... your data flow operations
    ]
}

resource dataflow 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflows@2025-10-01' = {
  parent: defaultDataflowProfile
  name: dataflowName
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    mode: 'Enabled'
    requestDiskPersistence: 'Enabled'
    operations: [
      // ... your data flow operations
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1beta1
kind: Dataflow
metadata:
  name: <DATAFLOW_NAME>
  namespace: azure-iot-operations
spec:
  profileRef: default 
  mode: Enabled
  requestDiskPersistence: Enabled
  operations:
    # ... your data flow operations

Configuración de un gráfico de flujo de datos

resource dataflowGraph 'Microsoft.IoTOperations/instances/dataflowProfiles/dataflowGraphs@2026-03-01' = {
  parent: dataflowProfile
  name: 'my-graph'
  extendedLocation: {
    name: customLocation.id
    type: 'CustomLocation'
  }
  properties: {
    requestDiskPersistence: 'Enabled'
    nodes: [
      // ... your graph nodes
    ]
    nodeConnections: [
      // ... your node connections
    ]
  }
}

apiVersion: connectivity.iotoperations.azure.com/v1
kind: DataflowGraph
metadata:
  name: <GRAPH_NAME>
  namespace: azure-iot-operations
spec:
  profileRef: default
  requestDiskPersistence: Enabled
  nodes:
    # ... your graph nodes
  nodeConnections:
    # ... your node connections

Contenido relacionado

• Crear un flujo de datos
• Introducción a los gráficos de flujo de datos
• Configurar la persistencia del servidor MQTT
• Configuración del comportamiento del búfer de mensajes con respaldo en disco