Unity AI Gateway voor het bedienen van eindpunten

Belangrijk

Er is een nieuwe Unity AI Gateway-ervaring beschikbaar in de bètaversie. De nieuwe Unity AI Gateway is het besturingsvlak voor ondernemingen voor het beheren van LLM-eindpunten en coderingsagents met verbeterde functies. Zie Unity AI Gateway voor agents en LLM's.

Op deze pagina wordt Unity AI Gateway beschreven, die eindpunten bedient voor het beheren en bewaken van de toegang tot ondersteunde generatieve AI-modellen en hun bijbehorende model-implementatie-eindpunten.

Wat is Unity AI Gateway voor het bedienen van eindpunten?

Unity AI Gateway is ontworpen om het gebruik en beheer van generatieve AI-modellen en -agents binnen een organisatie te stroomlijnen. Het is een gecentraliseerde service die governance, bewaking en productieklaarheid biedt aan modelbedienings-eindpunten. Hiermee kunt u AI-verkeer uitvoeren, beveiligen en beheren om de AI-adoptie te democratiseren en versnellen voor uw organisatie.

Alle gegevens worden aangemeld bij Delta-tabellen in Unity Catalog.

Als u inzichten van uw Unity AI Gateway-gegevens wilt visualiseren, downloadt u het dashboard example Unity AI Gateway uit GitHub. Dit dashboard maakt gebruik van de gegevens uit de inferentietabellen voor gebruiksregistratie en payload logging.

Nadat u het JSON-bestand hebt gedownload, importeert u het dashboard in uw werkruimte. Zie Een dashboardbestand importeren voor instructies over het importeren van dashboards.

Ondersteunde functies

Belangrijk

De nieuwe Unity AI Gateway biedt een uitgebreide gebruikersinterface, verbeterde waarneembaarheid en uitgebreide API-dekking voor LLM's, waaronder externe modellen en API's van het Foundation-model voor betalen per token. We raden u aan Unity AI Gateway te gebruiken om deze nieuwe mogelijkheden te ontgrendelen.

In de volgende tabel worden de beschikbare Unity AI Gateway-functies gedefinieerd en welk model voor eindpunttypen deze ondersteunt.

Eigenschap Definition Eindpunt van extern model Eindpunt voor betalen per token voor Foundation-model-API's Throughput-eindpunt voor de Foundation Model API's Mozaïek AI-agents Eindpunt van aangepast model
Beschikbaar in Unity AI Gateway Verbeterde Functies van Unity AI Gateway gebruiken. Zie Unity AI Gateway voor agents en LLM's. Ondersteund Ondersteund Niet ondersteund Niet ondersteund Niet ondersteund
Machtigings- en frequentiebeperking Bepalen wie toegang heeft en hoeveel toegang. Ondersteund Ondersteund Ondersteund Niet ondersteund Ondersteund
Logboekregistratie van lading Controleer en controleer gegevens die worden verzonden naar model-API's met behulp van inferentietabellen. Ondersteund Ondersteund Ondersteund Ondersteund Ondersteund
Gebruik bijhouden Bewaak het operationele gebruik op eindpunten en de bijbehorende kosten met behulp van systeemtabellen. Ondersteund Ondersteund Ondersteund Niet ondersteund Ondersteund
AI-veiligheidsmaatregelen Voorkom ongewenste en onveilige gegevens in aanvragen en antwoorden. Zie AI-richtlijnen. Ondersteund Ondersteund Ondersteund Niet ondersteund Niet ondersteund
Fallbacks Minimaliseer productiestoringen tijdens en na de implementatie. Ondersteund Niet ondersteund Niet ondersteund Niet ondersteund Niet ondersteund
Opsplitsen van verkeer Taakverdeling voor verkeer tussen modellen. Ondersteund Niet ondersteund Ondersteund Niet ondersteund Ondersteund

Unity AI Gateway brengt kosten in rekening op basis van een ingeschakelde functie. Betaalde functies omvatten logboekregistratie van nettoladingen en het bijhouden van gebruik. Functies zoals querytoestemmingen, snelheidslimieten, terugvalopties en het splitsen van verkeer zijn gratis. Er worden kosten in rekening gebracht voor alle nieuwe functies.

AI-richtlijnen

Belangrijk

Deze functie bevindt zich in openbare preview-versie.

Met AI-kaders kunnen gebruikers gegevenscompatibiliteit configureren en afdwingen op eindpuntniveau en schadelijke inhoud verminderen voor aanvragen die naar het onderliggende model worden verzonden. Ongeldige aanvragen en antwoorden worden geblokkeerd en er wordt een standaardbericht geretourneerd aan de gebruiker. Zie hoe u beveiligingsmaatregelen configureert op een model-serving-eindpunt.

Belangrijk

De AI Guardrails-beheerservice heeft een afhankelijkheid van Foundation Model-API's met betalen per token. Deze afhankelijkheid beperkt de beschikbaarheid van de AI Guardrails-beheerservice tot regio's die ondersteuning bieden voor het Betalen per token van Foundation Model.

De volgende tabel bevat een overzicht van de configureerbare kaders. Zie Beperkingen.

Guardrail Definition
Veiligheidsfilters Met veiligheidsfilters voorkomt u dat uw model communiceert met onveilige en schadelijke inhoud, zoals gewelddadige misdaad, zelfbeschadiging en haatspraak.
Unity AI Gateway-veiligheidsfilter is gebouwd met Meta Llama 3. Databricks gebruikt Llama Guard 2-8b als veiligheidsfilter. Zie de Meta Llama Guard 2 8B-modelkaart voor meer informatie over het Llama Guard-veiligheidsfilter en welke onderwerpen van toepassing zijn op het veiligheidsfilter.
Meta Llama 3 is gelicentieerd onder de LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Alle rechten voorbehouden. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties.
Detectie van persoonsgegevens (PII) Klanten kunnen gevoelige informatie, zoals creditcardnummers voor gebruikers, detecteren.
Voor deze functie gebruikt Unity AI Gateway Presidio om de volgende Amerikaanse categorieën piI te detecteren: creditcardnummers, e-mailadressen, telefoonnummers, telefoonnummers, bankrekeningnummers en burgerservicenummers.
De PII-classificatie kan helpen bij het identificeren van gevoelige informatie of PII in gestructureerde en ongestructureerde gegevens. Omdat het echter gebruikmaakt van geautomatiseerde detectiemechanismen, is er geen garantie dat de service alle gevoelige informatie vindt. Bijgevolg moeten aanvullende systemen en beschermingen worden toegepast.
Deze classificatiemethoden zijn voornamelijk gericht op Amerikaanse categorieën piI, zoals amerikaanse telefoonnummers en burgerservicenummers.

Unity AI Gateway gebruiken

U kunt Unity AI Gateway-functies configureren op uw model voor eindpunten met behulp van de gebruikersinterface van de server. Zie Unity AI Gateway configureren op modeluitvoerende eindpunten.

Beperkingen

Hier volgen beperkingen voor eindpunten met Unity AI Gateway:

  • Wanneer AI-beveiligingsmaatregelen worden toegepast, mag de batchgrootte van verzoeken — of het nu gaat om een embeddings batchgrootte, een completions batchgrootte, of de n-parameter voor chataanvragen — niet groter zijn dan 16.
  • Als u functie-aanroepen gebruikt en AI-kaders opgeeft, worden deze kaders niet toegepast op de aanvragen en tussenliggende antwoorden van de functie. Er worden echter beperkingen toegepast op het uiteindelijke uitgeproduceerde antwoord.
  • Werkbelastingen voor tekst-naar-afbeelding worden niet ondersteund.
  • Alleen het bijhouden van gebruik wordt ondersteund voor batchinferentieworkloads op pay-per-token-eindpunten waarvoor de Unity AI Gateway-functies ingeschakeld zijn. In de endpoint_usage-systeemtabel zijn alleen de rijen zichtbaar die overeenkomen met de inference-aanvraag voor batches.
  • AI-veiligheidsmaatregelen en alternatieve oplossingen worden niet ondersteund op maatwerk dienstverlenings-eindpunten.
  • Voor aangepaste modelservice-eindpunten ondersteunen alleen workloads die niet route-geoptimaliseerd zijn snelheidsbeperking en gebruikstracking.
  • Inferentietabellen voor door route geoptimaliseerde modellen voor het serveren van eindpunten bevinden zich in Openbare Preview.
  • Zie Unity AI Gateway-inferentietabelbeperkingen voor details over de beperkingen van de inferentietabel.
  • Last updated on