Modelkosten en -prestaties optimaliseren

Wanneer de kosten van uw model of agent toenemen, gebruikt u Ask AI (preview) om snel problemen te diagnosticeren, actie te ondernemen en verbeteringen te controleren. Ask AI is een ingebouwde chatassistent die u kunt openen via de werkbalk in de Microsoft Foundry portal. Bekijk Vraag AI om hulp (voorlopige versie) voor meer informatie over AI-capaciteiten en beperkingen.

In dit artikel identificeert u kostenpieken, schakelt u over naar een kostenefficiënt model en valideert u prestatieverbeteringen met behulp van de Foundry-portal.

Voorwaarden

• Een Azure-account met een actief abonnement. Als u nog geen account hebt, maakt u een vrij Azure-account, inclusief een gratis proefabonnement.

• Een Foundry-project. Als u nog geen project hebt, maakt u een project.

• De volgende machtigingen:

  • Lees de toegang tot het project en het abonnement waarvoor u gegevens wilt weergeven.
  • Log Analytics Reader-rol of een hogere rol voor de Application Insights resource die geassocieerd is met uw agent.
  • Rol van Cost Management-lezer .

• Application Insights geconfigureerd voor uw Foundry-project. Zie Bewaking configureren voor meer informatie.

• Ten minste één geïmplementeerde of gepubliceerde agent met kostengegevens. Voor zinvolle trendanalyse hebt u minimaal zeven dagen gebruiksgegevens nodig.

• De Ask AI-agent ingeschakeld in uw Foundry-project. Deze is beschikbaar in preview op de werkbalk van de Foundry-portal. Als u het niet ziet, controleert u of uw project zich in een ondersteunde regio bevindt en of de beheerder de functie niet heeft uitgeschakeld.

• Een evaluatiegegevensset die de typische workload van uw agent vertegenwoordigt. Gebruik deze gegevensset om modelprestaties te vergelijken na het schakelen tussen modellen.

Kostenverhogingen detecteren

Begin met het openen van de AI-agent vanuit de werkbalk. Of ga naar Overzicht gebruiken>om een van de vooraf gedefinieerde prompts te gebruiken die specifiek zijn voor agentoptimalisatie en -prestaties.

Vraag de assistent om een overzicht te geven van uw metrische gegevens en kostengegevens van het dashboard van het Foundry Control Plane. U kunt een vooraf gedefinieerde prompt selecteren in het deelvenster Overzicht of uw eigen vraag typen, zoals:

• "Mijn recente kostentrend samenvatten."

• "Welke agents hebben het meeste bijgedragen aan mijn kostenstijging?"

De Ask AI-agent genereert een samenvatting waarin belangrijke kostenfactoren worden gemarkeerd, zoals hoog tokengebruik, langere voltooiingsduur of frequente evaluatieuitvoeringen. De samenvatting bevat gelabelde links naar de dashboardgrafieken voor nadere inspectie.

Onderzoek naar hoge-kostenagenten

Nadat u de samenvatting hebt bekeken, kunt u gedetailleerde inzichten voor specifieke agents verkennen door het volgende te vragen:

• "Toon kosten- en prestatiedetails voor [agentnaam]."

• 'Kosten opsplitsen per model of implementatie voor deze agent'.

U kunt ook Assets selecteren in het linkerdeelvenster. Selecteer vervolgens Agentdetails weergeven om het deelvenster Assets weer te geven. Daar kunt u uw agents vergelijken met kosten- en tokengebruik en zien welke agent het meest kost.

Overschakelen naar een kostenefficiënt model

Wanneer u een model identificeert als kostenfactor, gebruikt u Ask AI om een kosten-efficiënter alternatief te vinden.

1. Voer in Ask AI een prompt in, zoals 'Een goedkoper model aanbevelen met vergelijkbare prestaties' of 'Kosten en kwaliteit vergelijken voor modellen die vergelijkbaar zijn met [huidig model]'.

2. Controleer het antwoord. Ask AI beveelt alternatieve modellen uit de modelcatalogus aan, met vergelijking van prestaties en kosten. Bekijk de aanbevelingen en selecteer een model dat aan uw vereisten voldoet.

3. Implementeer het nieuwe model. Vraag AI kan de implementatie direct in de chat starten of een koppeling naar de implementatiepagina geven. U kunt ook handmatig implementeren. Zie Deploy Microsoft Foundry Models in the Foundry Portal of Deploy models using Azure CLI and Bicep voor gedetailleerde implementatiestappen.

4. Nadat de implementatie is voltooid, controleert u of het nieuwe model wordt weergegeven in de implementatielijst van uw agent met de status Geslaagd .

Modelkosten en kwaliteitsverschillen evalueren

Nadat u van model bent overgeschakeld, vergelijkt u de oude en nieuwe modellen door een evaluatie uit te voeren.

1. Voer in Ask AI een prompt in, zoals 'Ik wil het oude en nieuwe model evalueren en vergelijken'.

2. Volg de richtlijnen die Ask AI biedt. Als u evaluatieuitvoeringen wilt maken, gaat u naar de evaluatiesectie van uw project.

3. Maak twee evaluatieuitvoeringen: één voor het oorspronkelijke model en één voor het nieuwe model.

4. Wacht tot beide evaluatieuitvoeringen zijn voltooid. Ga naar Overzicht uitvoeren>of de evaluatiegeschiedenis in uw project om de resultaten naast elkaar te vergelijken.

5. Zoek naar verschillen in kwaliteitsscores, latentie en kosten per token. Controleer in de evaluatiegeschiedenis of beide uitvoeringen een voltooide status met scores voor elke metriek weergeven.

   Belangrijke metrische gegevens om te vergelijken:

   • Gronding — hoe goed reacties zijn verankerd in brongegevens
   • Relevantie : hoe relevante antwoorden voor de query zijn
   • Coherentie : hoe logisch consistente reacties zijn
   • Latentie — reactietijd voor het model
   • Kosten per token : de kostenefficiëntie van het model

   Richt u op metrische gegevens die overeenkomen met de kwaliteitsvereisten van uw agent.

De modelimplementatie van uw agent bijwerken

Wanneer u heeft bevestigd dat het nieuwe model aan uw kosten- en prestatie-eisen voldoet, werkt u de agent bij zodat deze het gebruikt.

1. Ga in de Foundry-portal naar Build>Agents.

2. Selecteer de agent die u wilt bijwerken.

3. Wijzig het model in de nieuwe implementatie.

4. Test de agent om te controleren of deze correct reageert met het nieuwe model.

5. Selecteer Opslaan op de pagina met agentdetails om een nieuwe versie te maken. Controleer of het versienummer is verhoogd en of de modelnaam de nieuwe implementatie weerspiegelt.

Nadat u hebt gecontroleerd of het nieuwe model correct werkt, kunt u overwegen de oude modelimplementatie te verwijderen om lopende kosten te voorkomen.

Kosten- en prestatieverbeteringen bijhouden

Als u verbeteringen wilt controleren na de modelswitch, controleert u de meest recente kostengegevens.

1. Open Ask AI via de werkbalk.

2. Voer een prompt in, zoals 'Toon mij de samenvatting van de meest recente gegevens voor kosten'.

3. Bekijk de samenvatting. Vraag AI om de kosten- en prestatiegegevens die beschikbaar zijn op de pagina's Overzicht>enBewaking van bewerkingen, inclusief eventuele metrische gegevens voor continue evaluatie die daar worden weergegeven. In de samenvatting worden wijzigingen in kostentrends vergeleken met de vorige periode gemarkeerd.

Gebruik deze werkstroom regelmatig om de efficiëntie en het rendement op investeringen te bewaken.

Veelvoorkomende problemen oplossen

Verwante inhoud

• Vraag AI om hulp (preview)
• De status en prestaties van agents in uw vloot bewaken
• Agents beheren in Foundry Control Plane
• Tokenlimieten afdwingen voor modellen
• Wat is de Foundry Control Plane?
• Evaluaties uitvoeren vanuit de SDK
• Microsoft Foundry-modellen verkennen