Panoramica della rete virtuale del connettore di streaming eventstream e del supporto locale (anteprima)

Real-Time Intelligence Eventstream è progettato per portare dati in tempo reale da origini diverse, trasformarli e instradarli facilmente a varie destinazioni. Per le origini eseguite in ambienti di rete privata, ad esempio la rete virtuale cloud o le infrastrutture locali, è necessario un metodo sicuro per consentire a Eventstream di accedere all'origine.

Il supporto del connettore di streaming per le reti virtuali e gli ambienti locali offre un percorso sicuro e gestito, consentendo a Eventstream di connettersi in modo affidabile con queste origini di streaming di rete privata.

Architettura

Per abilitare il trasferimento dei dati da un'origine all'interno di una rete privata in Eventstream, è necessario stabilire una rete virtuale gestita di Azure come bridge intermedio, come illustrato nel diagramma. La rete virtuale di Azure deve essere connessa alla rete privata che ospita l'origine dati usando metodi appropriati, ad esempio VPN o ExpressRoute per scenari locali, endpoint privati o peering di rete per le origini di Azure. L'istanza del connettore di streaming Eventstream viene quindi integrata in questa rete virtuale tramite l'iniezione nella rete stessa, consentendo un collegamento sicuro tra il connettore e la sorgente dati situata nella rete privata.

Screenshot che mostra la panoramica dell'architettura.

Cos'è un gateway dati per lo streaming su rete virtuale

Per facilitare l'inserimento della rete virtuale del connettore di streaming in una rete virtuale di Azure creata dall'utente, Fabric offre una posizione centralizzata per tecnici di rete o data engineer per gestire i riferimenti alle risorse di rete virtuale di Azure. Il gateway di dati della rete virtuale di streaming in Fabric serve a questo scopo per EventStream. In particolare, il gateway per i dati di rete virtuale in streaming:

  • Fa riferimento alla risorsa di rete virtuale di Azure in Fabric, che memorizza la risorsa di rete virtuale di Azure del cliente di Azure.
  • Viene usato esclusivamente in Eventstream per passare le informazioni sulle risorse della rete virtuale di Azure per l'inserimento della rete virtuale del connettore di streaming.
  • Può essere creato e gestito tramite la pagina "Gestisci connessioni e gateway" in Fabric.
  • È possibile selezionare l'opzione quando si configurano connessioni di streaming per le origini Eventstream tramite la procedura guidata Recupera eventi.
  • A differenza dei "Gateway dati di rete virtuale" e dei "Gateway dati locali", non richiede la configurazione del cluster né una capacità aggiuntiva. Tuttavia, l'esperienza utente in tutti e tre i tipi di gateway rimane in gran parte simile.

Per altre informazioni su come creare e gestire il gateway dati di rete virtuale di streaming, vedere Creare e gestire gateway dati di rete virtuale di streaming.

Screenshot che mostra il gateway dei dati di rete virtuale in streaming.

Fonti supportate

Questa funzionalità si applica alle origini Eventstream che usano connettori di streaming per recuperare i dati da origini esterne, ovvero le richieste in uscita vengono effettuate a tali sistemi esterni. Supporta le funzionalità seguenti:

  • Database SQL di Azure con Cattura delle Modifiche ai Dati (CDC)
  • Istanza gestita di Azure SQL CDC
  • Bus di servizio di Azure
  • Azure Cosmos DB CDC
  • Esplora dati di Azure(ADX)
  • Hub eventi di Azure (modalità funzionalità estese)
  • Amazon Streaming Gestito per Apache Kafka
  • Apache Kafka
  • Flussi di dati Amazon Kinesis
  • Confluent Cloud for Apache Kafka
  • PostgreSQL CDC
  • MongoDB CDC
  • Google Cloud Pub/Sub (servizio di messaggistica e gestione di eventi di Google)
  • Trasporto di telemetria tramite accodamento di messaggi (MQTT)
  • Protocollo HTTP
  • Solace PubSub+
  • SQL Server in una macchina virtuale (VM) CDC
  • MySQL Database per il CDC

Passaggi successivi

Per ottenere la guida dettagliata alla configurazione, vedere la Guida al supporto della rete privata del connettore di streaming.

Limitazioni

  • L'anteprima dei dati nelle sorgenti di rete privata non è supportata.
    Alcune origini del connettore supportano l'anteprima dei dati, come le origini di Change Data Capture (CDC) del database, Confluent, Amazon Web Services (AWS) Kinesis, ecc., se si trovano in una rete pubblica. Quando si trovano in rete privata, l'anteprima dei dati su queste origini non è disponibile. Vengono visualizzati errori durante l'anteprima in modalità di modifica o in modalità dinamica.

  • L'origine configurata con rete virtuale/sottorete non può essere aggiornata dopo la pubblicazione di questo flusso di eventi.
    Dopo aver configurato la rete virtuale o la subnet per Eventstream, non verrà aggiornata a meno che non vengano apportate modifiche e non si ripubblichi Eventstream. È consigliabile non modificare le impostazioni della rete virtuale o della subnet durante l'esecuzione del connettore.

  • Il server DNS personalizzato non è ancora supportato
    Se l'origine si trova in una rete privata con un server DNS personalizzato configurato, il connettore di streaming inserito nella rete virtuale di Azure potrebbe non essere in grado di risolvere l'indirizzo del server di origine. Esistono tre opzioni per risolvere questo problema:

    • Creare e collegare una zona DNS privata alla rete virtuale inserita e aggiungere un record A che risolve il nome DNS dell'origine dati all'indirizzo IP privato.
    • Creare un sistema di risoluzione privato DNS che inoltra il traffico DNS al server DNS personalizzato.
    • Configurare l'indirizzo IP privato direttamente durante la creazione del connettore. Questa opzione non funziona per i connettori che richiedono un nome di dominio completo.

  • Il problema di race condition può verificarsi durante la creazione e l'eliminazione del connettore vNet configurato con la stessa subnet della rete virtuale allo stesso tempo
    Se si elimina un'origine connettore con una subnet di rete virtuale configurata e si aggiunge una nuova origine connettore con la stessa subnet nella modalità di modifica di Eventstream, la pubblicazione simultanea di entrambe le modifiche potrebbe causare conflitti di condizione di competizione. Per evitare questo problema, seguire questa procedura: eliminare l'origine del connettore con la rete virtuale in modalità di modifica - pubblicare il flusso di eventi ->> immettere nuovamente la modalità di modifica -> aggiungere la nuova origine del connettore con la rete virtuale -> e pubblicare di nuovo.

Contenuti correlati

  • Last updated on