IEvaluationResponseCacheProvider Interface

Definição

Namespace:
Microsoft.Extensions.AI.Evaluation.Reporting
Assembly:
Microsoft.Extensions.AI.Evaluation.Reporting.dll
Pacote:
Microsoft.Extensions.AI.Evaluation.Reporting v10.6.0
Origem:
IEvaluationResponseCacheProvider.cs

Fornece uma maneira de obter o IDistributedCache que armazena em cache as respostas de IA associadas a um determinado ScenarioRun.

public interface class IEvaluationResponseCacheProvider
public interface IEvaluationResponseCacheProvider
type IEvaluationResponseCacheProvider = interface
Public Interface IEvaluationResponseCacheProvider
Derivado

Comentários

IEvaluationResponseCacheProvider pode ser usado para configurar o cache de respostas geradas por IA (tanto as respostas de IA em avaliação quanto as respostas de IA para as próprias avaliações). Quando o cache está habilitado, as respostas de IA associadas a IDistributedCache cada ScenarioRun um são armazenadas no que é retornado a partir dissoIEvaluationResponseCacheProvider. Desde que as entradas (como o conteúdo incluído nas solicitações, o modelo de IA que está sendo invocado etc.) permaneçam inalteradas, as avaliações subsequentes do mesmo ScenarioRun usam as respostas armazenadas em cache em vez de invocar o modelo de IA para gerar novas. Ignorar o modelo de IA quando as entradas permanecem inalteradas resulta em uma execução mais rápida a um custo menor.

Métodos

Nome Description
DeleteExpiredCacheEntriesAsync(CancellationToken)

Exclui entradas de cache expiradas para todos os ScenarioRuns.
GetCacheAsync(String, String, CancellationToken)

Retorna um IDistributedCache que armazena em cache todas as respostas de IA associadas ScenarioRun ao fornecido scenarioName e iterationName.
ResetAsync(CancellationToken)

Exclui respostas de IA armazenadas em cache para todos os ScenarioRuns.

Aplica-se a