Overzicht van Zerobus Ingest-connector

Zerobus Ingest is een op push gebaseerde opname-API die gegevens rechtstreeks naar Unity Catalog Delta-tabellen schrijft. Het is een serverloze connector die automatisch wordt geschaald om binnenkomende verbindingen te verwerken. Hiervoor hoeft u geen partities te configureren of brokers te beheren.

Met Zerobus Ingest is uw 'schaalstrategie' het openen van meer verbindingen. Dit stroomlijnt opnamewerkstromen door de noodzaak van een berichtenbusinfrastructuur te elimineren.

Elke toepassing die kan integreren met Zerobus Ingest SDK's of via ondersteunde API's (gRPC, REST en OpenTelemetry) kan Zerobus Ingest gebruiken om gegevens efficiënt naar Delta-tabellen te pushen.

De Zerobus Ingest-buffers verzenden gegevens voordat ze worden toegevoegd aan een Delta-tabel. Deze buffering maakt een efficiënt en duurzaam opnamemechanisme dat ondersteuning biedt voor een groot aantal clients met variabele doorvoer.

Zodra de gegevens zijn gerealiseerd in Delta-indeling, worden ze volledig compatibel met het uitgebreide Databricks Data Intelligence Platform, zodat gebruikers gebruik kunnen maken van vertrouwde hulpprogramma's en mogelijkheden voor verdere gegevensanalyse en -verwerking.

Concepten

Een gegevensproducent opent eerst een stream naar de Zerobus Ingest-API en specificeert een Delta-doeltabel, bouwt een bericht dat overeenkomt met het schema en pusht vervolgens het bericht via de geopende stream. De service maakt de gegevens duurzaam, bevestigt het bericht van de client en materialiseert de gegevens in de Delta-tabel op een geoptimaliseerde manier.

Streams

Een stream is een directe verbinding tussen uw client en de Zerobus Ingest-server. De SDK's maken gebruik van streams om langdurige verbindingen met hoge doorvoer te vergemakkelijken.

• Streams worden alleen gebruikt in de gRPC-API met de SDK's.
• Een stream neemt gegevens op in één doeltabel.
• Levering van gebeurtenissen wordt gegarandeerd op het niveau per stroom.
• Er kunnen extra streams worden geopend om gegevens naar verschillende tabellen te schrijven.
• Er kunnen extra streams worden geopend om de doorvoer van de client te verhogen.
  • Opmerking: Als uw client round robins berichten naar verschillende streams stuurt, wordt bestellen niet meer gegarandeerd.

Server

De Zerobus Ingest-service maakt of bewerkt tabellen niet automatisch. Gebruikers moeten de tabel zelf maken. Tabellen en hun schema's zijn de gezaghebbende bronnen voor de verwachtingen van binnenkomende gegevens.

De Zerobus Ingest-server accepteert gegevens die naar de server worden verzonden door clients, valideert of deze past bij het doeltabelschema en schrijft deze vervolgens naar de tabel. Als de gegevens in de tabel passen, zijn deze duurzaam. Vervolgens wordt er een bevestiging naar de client verzonden.

De serviceverantwoordelijkheden omvatten:

• Schemavalidatie van het bericht voor de tabel.
• De gegevens materialiseren in de doeltabel op een tijdige manier.
• Een bevestiging verzenden naar de client dat de gegevens duurzaam zijn.

Client

Clientintegratie omvat:

• Een doeltabel selecteren.
• Een stream tot stand brengen met de Zerobus Ingest-service.
• Het samenstellen van een schema-compatibel bericht.
• Het bericht verzenden.
• Bevestigingen van berichten beheren.
• Herstelmechanismen implementeren in het geval van client-, stream- of serverfouten (bijvoorbeeld verbindingsproblemen, niet-overeenkomende schema's)

De Zerobus Ingest SDK's bieden gebruiksvriendelijke methoden voor het uitvoeren van clientintegratie en de documentatie biedt voorbeelden van verschillende ontwikkelingspatronen. Voor aangepaste integraties kunnen de SDK's fungeren als referentie voor de verwerking van integratiestructuur en herstel.

Aan de slag met Zerobus Ingest

1. Haal een Zerobus-ingestie-URL op.
2. Maak of identificeer de tabel waarin u gegevens wilt opnemen.
3. Maak een service principal en verleen rechten aan de tabel.
4. Verbind een klant of exporteur om te beginnen met het verzenden van gegevens.

Kies de handleiding voor uw use-case:

• Uw eigen gegevens opnemen: gebruik de Zerobus Ingest SDK's of REST API met een schema dat u definieert. Zie De Zerobus Ingest-connector gebruiken voor volledige instructies.

• OpenTelemetry-gegevens opnemen: standaard SDK's voor OpenTelemetry of collectors gebruiken om traceringen, logboeken en metrische gegevens te verzenden naar vooraf gedefinieerde tabelschema's. Zie OpenTelemetry-gegevens opnemen met Zerobus Ingest voor volledige instructies.

Duurzame terugvallocatie

Als er een belangrijke wijziging wordt aangebracht in uw doeltabel nadat Zerobus Ingest uw gegevens duurzaam maakt voordat Zerobus Ingest de kans heeft om te publiceren (push-bestand naar opslag), maakt de connector de gegevens beschikbaar in een afzonderlijke map binnen de opslaglocatie van uw tabel.

Gegevens worden opgeslagen als Parquet-bestanden onder het volgende pad ten opzichte van de hoofddirectory van de tabel: _zerobus/table_rejected_parquets/

Deze map wordt rechtstreeks gemaakt onder de fysieke hoofdopslaglocatie van de tabel en alle Parquet-bestanden die door de service worden gegenereerd, worden daar geschreven. Dit zorgt ervoor dat alle persistente gegevens binnen de opslaggrens van de tabel blijven en hetzelfde toegangsbeheer en levenscyclusbeleid volgen als de tabel zelf.

Kosten

Kosten voor Zerobus Ingest worden gefactureerd voor de SKU 'Geautomatiseerde serverloze'. Prijzen zijn beschikbaar op de pagina prijzen van Lakeflow Connect.

Uw gebruik bewaken

Er zijn twee methoden voor het bewaken van het gebruik van de Zerobus Ingest-connector.

Zerobus Ingest-systeemtabellen

U kunt uw gebruik bewaken via Zerobus Ingest-systeemtabellen. Zie referentie voor systeemtabellen van Zerobus.

Factureringssysteemtabel

U kunt uw uitgaven bewaken via de factureerbare gebruikssysteemtabel. Zie referentietabel voor systeem voor factureerbaar gebruik. Filter voor Zerobus-invoer met:

• billing_origin_product = 'LAKEFLOW_CONNECT'
• product_features.lakeflow_connect.zerobus_request_type = 'GRPC' of 'HTTP'