IEvaluationResponseCacheProvider Schnittstelle

Definition

Namespace:
Microsoft.Extensions.AI.Evaluation.Reporting
Assembly:
Microsoft.Extensions.AI.Evaluation.Reporting.dll
Paket:
Microsoft.Extensions.AI.Evaluation.Reporting v10.6.0
Quelle:
IEvaluationResponseCacheProvider.cs

Bietet eine Möglichkeit, die IDistributedCache KI-Antworten zwischenzuspeichern, die einem bestimmten ScenarioRunzugeordnet sind.

public interface class IEvaluationResponseCacheProvider
public interface IEvaluationResponseCacheProvider
type IEvaluationResponseCacheProvider = interface
Public Interface IEvaluationResponseCacheProvider
Abgeleitet

Hinweise

IEvaluationResponseCacheProvider kann verwendet werden, um das Zwischenspeichern von KI-generierten Antworten einzurichten (sowohl die KI-Antworten, die zur Bewertung durchgeführt werden, als auch die KI-Antworten für die Auswertungen selbst). Wenn die Zwischenspeicherung aktiviert ist, werden die jeweils ScenarioRun zugeordneten KI-Antworten in der IDistributedCache von diesem IEvaluationResponseCacheProviderZurückgegebenen gespeichert. Solange die Eingaben (z. B. der in den Anforderungen enthaltene Inhalt, das KI-Modell, das aufgerufen wird usw.) unverändert bleiben, verwenden nachfolgende Auswertungen derselben ScenarioRun die zwischengespeicherten Antworten, anstatt das KI-Modell aufzurufen, um neue zu generieren. Die Umgehung des KI-Modells, wenn die Eingaben unverändert bleiben, führt zu einer schnelleren Ausführung zu niedrigeren Kosten.

Methoden

Name Beschreibung
DeleteExpiredCacheEntriesAsync(CancellationToken)

Löscht abgelaufene Cacheeinträge für alle ScenarioRuns.
GetCacheAsync(String, String, CancellationToken)

Gibt einen IDistributedCache Wert zurück, der alle KI-Antworten zwischenspeichert, die mit dem ScenarioRun angegebenen scenarioName und iterationName.
ResetAsync(CancellationToken)

Löscht zwischengespeicherte KI-Antworten für alle ScenarioRunElemente.

Gilt für: