IEvaluationResponseCacheProvider Interface

Définition

Espace de noms:
Microsoft.Extensions.AI.Evaluation.Reporting
Assembly:
Microsoft.Extensions.AI.Evaluation.Reporting.dll
Paquet:
Microsoft.Extensions.AI.Evaluation.Reporting v10.6.0
Source:
IEvaluationResponseCacheProvider.cs

Fournit un moyen d’obtenir le IDistributedCache cache des réponses IA associées à un particulier ScenarioRun.

public interface class IEvaluationResponseCacheProvider
public interface IEvaluationResponseCacheProvider
type IEvaluationResponseCacheProvider = interface
Public Interface IEvaluationResponseCacheProvider
Dérivé

Remarques

IEvaluationResponseCacheProvider peut être utilisé pour configurer la mise en cache des réponses générées par l’IA (les réponses IA sous évaluation ainsi que les réponses IA pour les évaluations elles-mêmes). Lorsque la mise en cache est activée, les réponses IA associées à chacune d’elles ScenarioRun sont stockées dans l’élément IDistributedCache retourné à partir de ce IEvaluationResponseCacheProviderfichier . Tant que les entrées (telles que le contenu inclus dans les requêtes, le modèle IA appelé, etc.) restent inchangées, les évaluations suivantes de la même ScenarioRun utilisation des réponses mises en cache au lieu d’appeler le modèle IA pour en générer de nouvelles. Le contournement du modèle IA lorsque les entrées restent inchangées entraîne une exécution plus rapide à moindre coût.

Méthodes

Nom Description
DeleteExpiredCacheEntriesAsync(CancellationToken)

Supprime les entrées de cache expirées pour tous les ScenarioRuns.
GetCacheAsync(String, String, CancellationToken)

Retourne une IDistributedCache valeur qui met en cache toutes les réponses IA associées au ScenarioRun fichier fourni scenarioName et iterationName.
ResetAsync(CancellationToken)

Supprime les réponses IA mises en cache pour tous les ScenarioRuns.

S’applique à