Realtidsläge i strukturerad direktuppspelning

På den här sidan beskrivs begreppen bakom realtidsläge i Strukturerad direktuppspelning, inklusive vad det är, hur det uppnår låg svarstid och när det ska användas.

Vad är realtidsläge?

Realtidsläge är en utlösartyp för strukturerad direktuppspelning som möjliggör databearbetning med extremt låg svarstid med svarstid från slutpunkt till slutpunkt så låg som fem millisekunder. Använd realtidsläge för driftarbetsbelastningar som kräver omedelbara svar på strömmande data, till exempel bedrägeriidentifiering, realtidsanpassning och omedelbara beslutssystem.

Så här uppnår realtidsläget låg svarstid

Realtidsläget förbättrar körningsarkitekturen genom att:

  • Köra långvariga batchar (standardvärdet är fem minuter), där systemet bearbetar data när de blir tillgängliga i källan.
  • Schemalägger alla faser av frågan samtidigt. Detta kräver att antalet tillgängliga aktivitetsfack är lika med eller större än antalet aktiviteter för alla faser i en batch.
  • Skicka data mellan faser så snart de har producerats med hjälp av en streamingomkastning.

I slutet av bearbetningen av en batch, och innan nästa batch startar, gör Structured Streaming kontrollpunktsavstämningar och publicerar mätvärden. Batchvaraktigheten påverkar kontrollpunktsfrekvensen:

  • För längre batchar sker kontrollpunktskapande mindre ofta, vilket innebär längre omspelningar vid fel och fördröjd metriktillgänglighet.
  • För kortare batchar sker kontrollpunkter oftare, vilket kan påverka svarstiden.

Azure Databricks rekommenderar att du jämför realtidsläget mot målarbetsbelastningen för att hitta rätt utlösarintervall.

När du ska använda realtidsläge

Välj realtidsläge när ditt användningsfall kräver:

  • Svarstid under sekund: Program som behöver svara på data inom millisekunder. Till exempel blockera eller flagga en kreditkortstransaktion i realtid om en bedrägeripoäng överskrider ett tröskelvärde baserat på ovanlig plats, stor transaktionsstorlek eller snabba utgiftsmönster.
  • Operativt beslutsfattande: System som utlöser omedelbara åtgärder baserat på inkommande data. Om du till exempel levererar ett kampanjmeddelande när klickströmsdata visar att en användare har bläddrat efter en produkt och erbjuder en rabatt om de köper inom de närmaste 15 minuterna.
  • Kontinuerlig bearbetning: Arbetsbelastningar där data måste bearbetas så snart de kommer, i stället för i periodiska batchar.

Använd mikrobatchläge (standardutlösaren för strukturerad direktuppspelning) när ditt användningsfall kräver:

  • Analysbearbetning: ETL-pipelines, datatransformeringar och arkitekturimplementeringar för medaljonger där svarstidskrav mäts i sekunder eller minuter.
  • Kostnadsoptimering: Arbetsbelastningar där svarstid under sekund inte krävs, eftersom realtidsläge kräver dedikerade beräkningsresurser.
  • Kontrollpunktsfrekvensen är viktig: Program som drar nytta av mer frekventa kontrollpunkter för snabbare återställning.

Funktionsstöd och begränsningar

En fullständig lista över miljöer, språk, beräkningstyper, källor, mottagare, operatorer och kända begränsningar som stöds finns i Referens för realtidsläge.

Ytterligare resurser

  • Last updated on