Modell som betjänar observerbarhet med Genie Code

Den här artikeln beskriver hur Genie Code kan hjälpa dig att diagnostisera problem, analysera prestanda och få vägledning för din modell som betjänar slutpunkter.

Requirements

Om du vill använda Genie Code för modeller som hanterar observerbarhet behöver din arbetsyta följande:

• Partnerdrivna AI-funktioner aktiverade för både kontot och arbetsytan. Se Partnerdrivna AI-funktioner.
• Din arbetsyta måste finnas i en region som stöds. Genie Code är en utsedd tjänst som använder Geos för att hantera datahemvist. Se Geo-tillgänglighet för Genie Code-funktioner.

Vad kan Genie Code hjälpa till med?

När du använder Genie Code på en modellsutgivningsändpunktssida blir den en observabilitetskompanjon för modellservering. Den kan analysera slutpunktshälsa, diagnostisera distributionsfel, undersöka problem med svarstid och ge vägledning om bästa praxis – allt från fönstret Genie Code.

Genie Code är en skrivskyddad rådgivare i det här läget. Den kan inspektera dina slutpunkter och ge rekommendationer, men den kan inte ändra konfigurationer eller distributioner. Den innehåller tydliga, stegvisa instruktioner och länkar till dokumentationen så att du kan göra ändringar själv.

Get started

Så här kommer du igång:

1. Gå till en modell som betjänar slutpunktssidan.
2. Klicka på Öppna fönstret Genie Code.
3. I det nedre högra hörnet väljer du Agent. Detta växlar till Genie Codes agentläge.
4. Ange en fråga som beskriver vad du behöver hjälp med. Till exempel "Kontrollera hälsotillståndet för den här slutpunkten" eller "Varför är min svarstid så hög?"

Kapaciteter

Hälsokontroller och diagnostik

Genie Code kan analysera slutpunktens status och konfiguration för att identifiera potentiella problem:

• Kontrollera slutpunktens hälsotillstånd och driftsättningstillstånd.
• Granska konfigurationen mot metodtips.
• Utvärdera skalning och resursanvändning.

Felsökning och analys

Genie Code kan hjälpa dig att lösa problem med dina slutpunkter:

• Diagnostisera distributionsfel med hjälp av byggloggar, händelser och slutpunktstillstånd.
• Undersök problem med långa svarstider eller tidsgränser med hjälp av mått, händelser och slutsatsdragningstabelldata.
• Analysera felmönster från tjänstloggar och slutsatsdragningstabeller.
• Identifiera felkonfigurationer eller resursbegränsningar.
• Jämför aktuella och väntande konfigurationer med riskbedömning.

Vägledning och metodtips

Genie Code har rekommendationer baserat på slutpunktens konfiguration:

• Rekommendera optimala skalningskonfigurationer för produktions- och utvecklingsarbetsbelastningar.
• Förklara slutpunktstillstånd och övergångar.
• Guidar dig om övervakning och observabilitetskonfiguration.
• Sök Azure Databricks dokumentation och ange länkar till relevanta artiklar.

Användningsfall

Prova de här anvisningarna för att komma igång:

• Hälsokontroller:
  • "Kontrollera hälsotillståndet för den här slutpunkten."
  • "Är min slutpunkt korrekt konfigurerad?"
  • Granska min slutpunkts skalningskonfiguration.
• Driftsättningsfel
  • "/diagnose" eller "Varför misslyckades min utplacering?"
  • "Hjälp mig att åtgärda distributionsfel."
  • "Min slutpunkt har fastnat i ett väntande tillstånd."
• Felsökning av svarstid:
  • "Varför är min svarstid så hög?"
  • "Analysera svarstidstopparna från i morse."
  • "Visa mig prestandamåtten för de senaste 24 timmarna."
• Konfigurationsgranskning:
  • Vad har ändrats i min pågående konfiguration?
  • "Är min samtidighetsinställning lämplig för produktion?"
  • "Visa mig min konfiguration av slutsatsdragningstabellen."
• Begärandehistorik:
  • "Visa mig de senaste förfrågningarna till den här slutpunkten."
  • "Vilka fel drabbar mina användare?"
  • "Analysera felmönster från den senaste veckan."

Ytterligare information

• Genie Code
• Använda Genie Code
• Övervaka modellkvalitet och slutpunktshälsa
• Felsökningsguide för modelltjänst
• Optimera modellserverslutpunkter för produktion