Add Apache Kafka source to a Fabric eventstream (preview)

Tässä artikkelissa näytetään, miten Apache Kafka -lähde lisätään Fabric-tapahtumavirtaan.

Apache Kafka on avoimen lähdekoodin hajautettu ympäristö skaalautuvien, reaaliaikaisten tietojärjestelmien rakentamiseen. Integroimalla Apache Kafkan lähteeksi tapahtumavirtaasi voit saumattomasti tuoda reaaliaikaisia tapahtumia Apache Kafkastasi ja käsitellä ne ennen reititystä useisiin kohteisiin Fabric-sisällä.

Prerequisites

  • Pääsy Fabric-työtilaan Contributor tai sitä ylemmillä oikeuksilla.

  • Apache Kafka -klusteri käynnissä.

  • Apache Kafkan on oltava julkisesti käytettävissä, eikä se saa olla palomuurin takana tai suojattu näennäisverkossa. Jos se sijaitsee suojatussa verkossa, yhdistä siihen käyttämällä Eventstream-liittimen virtuaaliverkkoinjektiota.

  • Jos aiot käyttää TLS/mTLS-asetuksia, varmista, että vaaditut sertifikaatit ovat saatavilla Azure Key Vault:

    • Tuo tarvittavat sertifikaatit Azure Key Vault muodossa .pem.
    • Käyttäjällä, joka konfiguroi lähde- ja esikatselutiedot, on oltava lupa käyttää varmenneita Key Vault:ssa (esimerkiksi Key Vault Certificate User tai Key Vault Administrator).
    • Jos nykyisellä käyttäjällä ei ole tarvittavia käyttöoikeuksia, dataa ei voi esikatsella tästä lähteestä Eventstreamissa.

Apache Kafkan lisääminen lähteeksi

Jos et ole vielä lisännyt lähdettä tapahtumavirtaasi, valitse Yhdistä tietolähteet -ruutu. Voit myös valita Lisää lähde>Yhdistä tietolähteet nauhalla.

Kuvakaappaus, joka näyttää laatan valinnan ulkoisen lähteen käyttöön.

Jos lisäät lähdekoodin jo julkaistuun tapahtumavirtaan, vaihda muokkaustilaan . Nauhalta valitse Lisää lähde>Yhdistä tietolähteet.

Kuvakaappaus, joka näyttää vaihtoehtoja ulkoisten lähteiden lisäämiseen.

Valitse Valitse tietolähde -sivulta tai Tietolähteet-sivultaApache Kafka.

Näyttökuvassa näkyy Apache Kafkan valinta lähdetyypiksi ohjatussa Hae tapahtumat -toiminnossa.

Apache Kafkaan määrittäminen ja siihen yhdistäminen

  1. Valitse Yhdistä-sivullaUusi yhteys.

    Näyttökuvassa näkyy uusi yhteyslinkki ohjatun tapahtumien luomisen toimintotoiminnon Yhdistä-sivulla.

  2. Yhteysasetukset-osiossa, Bootstrap-palvelimelle, syötä yksi tai useampi Kafka-bootstrap-palvelinosoite. Erota useita osoitteita pilkuilla (,).

    Näyttökuva, joka näyttää Apache Kafka Bootstrap -palvelinkentän valinnan ohjatun Hae tapahtumat -toiminnon Yhdistä-sivulla.

  3. Jos sinulla on Yhteyden tunnistetiedot -osassa aiemmin luotu yhteys Apache Kafka -klusteriin, valitse se avattavasta Yhteys-luettelosta. Muutoin toimi seuraavasti:

    1. Kirjoita Yhteyden nimi -kohtaan yhteyden nimi.
    2. Varmista Todennustyyppi-kohdassa, että API-avain on valittuna.
    3. Kirjoita Avain ja salaisuus -kohtaan API-avain ja avaimen salaisuus.

      Note

      Jos käytät vain mTLS:ää tunnistautumiseen, voit lisätä minkä tahansa merkkijonon avain-osioon yhteyden luomisen yhteydessä.

  4. Valitse Yhdistä. 

  5. Toimi nyt Yhdistä-sivulla seuraavasti.

    1. Kirjoita Aihe-kohtaan Kafka-aihe.

    2. Kirjoita Kuluttajaryhmä-kohtaan Apache Kafka -klusterin kuluttajaryhmä. Tämä kenttä tarjoaa erityisen kuluttajaryhmän tapahtumien noutamista varten.

    3. Valitse Palauta automaattinen siirtymä määrittääksesi, mistä lukemisen siirtymät aloitetaan, jos vahvistusta ei ole.

    4. Turvaprotokollaksi valitse jokin seuraavista vaihtoehdoista:

      • SASL_SSL: Käytä tätä vaihtoehtoa, kun Kafka-klusterisi käyttää SASL-pohjaista tunnistautumista. Oletuksena Kafka-välittäjän palvelinvarmenteen on allekirjoitettava Certified Authority (CA), joka sisältyy luotettuun CA-listaan. Jos Kafka-klusterisi käyttää mukautettua CA:ta, voit konfiguroida sen TLS/mTLS-asetuksilla.
      • SSL (mTLS): Käytä tätä vaihtoehtoa, kun Kafka-klusterisi vaatii mTLS-tunnistautumisen ja sinun täytyy konfiguroida sekä mukautettu palvelin-CA-sertifikaatti että asiakassertifikaatti TLS/mTLS-asetuksissa.

    5. Oletusarvoinen SASL-mekanismi on yleensä PLAIN, ellei toisin määritetä. Voit valita suojausvaatimuksiisi sopivan SCRAM-SHA-256 - tai SCRAM-SHA-512-mekanismin .

    6. Jos Kafka-klusterisi käyttää mukautettua CA:ta tai vaatii mTLS:ää, laajenna TLS/mTLS-asetukset ja määritä seuraavat asetukset tarpeen mukaan:

      • Trust CA -sertifikaatti: Ota Trust CA -sertifikaatin konfiguraatio käyttöön. Valitse tilauksesi, resurssiryhmäsi ja avainholvi, ja anna palvelimen CA-nimi.

      • Asiakassertifikaatti ja avain: Ota käyttöön asiakassertifikaatti ja avaimen konfigurointi. Valitse tilauksesi, resurssiryhmäsi ja avainholvi, ja anna sitten asiakasvarmenteen nimi.

        Jos et käytä mTLS:ää, mutta käytät silti SASL_SSL mukautetun CA-sertifikaattisi kanssa, voit ohittaa tämän asiakassertifikaatin konfiguraation.

      Note

      Tämän osion TLS/mTLS-asetukset ovat tällä hetkellä esikatselussa.

      Yksityisverkon lähteiden osalta varmista, että Azure Key Vault, joka sisältää sertifikaattisi, on yhdistetty Azure-virtuaaliverkkoon, jota striimausvirtuaaliverkon dataportti käyttää Eventstream-liittimen virtuaaliverkon injektiota varten (esimerkiksi yksityisen päätelaitteen kautta).

    Näyttökuvassa näkyy Apache Kafka -yhteysasetusten ensimmäinen sivu.

Striimin tai lähteen tiedot

  1. Connect-sivulla seuraa jotakin näistä vaiheista sen mukaan, käytätkö Eventstreamia vai Real-Time hubia.

    • Eventstream:

      Lähdetiedot-paneelissa oikealla seuraa seuraavia ohjeita:

      1. Lähdenimeä varten valitse Kynäpainike vaihtaaksesi nimen.

      2. Huomaa, että Eventstreamin nimi ja Streamin nimi ovat vain luku -tilassa.

    • Real-Time keskus:

      Oikealla olevassa Stream-tiedot-osiossa seuraa näitä vaiheita:

      1. Valitse Fabric workspace johon haluat luoda eventstreamin.

      2. Eventstreamin nimeä varten valitse Kynäpainike ja syötä tapahtumavirran nimi.

      3. Virran nimiarvo luodaan automaattisesti lisäämällä -stream tapahtumavirran nimeen. Tämä virta ilmestyy reaaliaikaisen hubin Kaikki datavirrat -sivulle, kun ohjattu on valmis.

  2. Valitse Seuraava Määritä-sivun alareunasta.

Kertaile ja yhdistä

Review + connect -näytöllä käy läpi yhteenveto ja valitse Add (Eventstream) tai Connect (Real-Time hub).

Näytä päivitetty tapahtumavirta

Näet tapahtumavirtaan lisätyn Apache Kafka -lähteen muokkaustilassa. 

Näyttökuvassa näkyy Apache Kafka -lähde muokkausnäkymässä.

Kun olet suorittanut nämä vaiheet, Apache Kafka -lähde on käytettävissä visualisointia varten reaaliaikaisessa näkymässä.

Näyttökuvassa näkyy Apache Kafka -lähde reaaliaikaisessa näkymässä.

Note

Jos haluat esikatsella tapahtumia tästä Apache Kafka -lähteestä, varmista, että pilviyhteyden luomiseen käytetyllä avaimella on lukuoikeus kuluttajaryhmille, joiden etuliitteenä on "preview-".

Apache Kafka -lähteessä vain JSON-muodossa olevia viestejä voidaan esikatsella.

Näyttökuvassa näkyy Apache Kafka -lähdetietojen esikatselu.

Aiheeseen liittyvä sisältö

Muut liittimet:

  • Last updated on