F1Evaluator Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Een IEvaluator die de kwaliteit van een antwoord evalueert dat door een AI-model wordt geproduceerd door het te vergelijken met een referentieantwoord met behulp van het score-algoritme F1. F1-score is de verhouding van het aantal gedeelde woorden tussen het gegenereerde antwoord en het verwijzingsantwoord.
public ref class F1Evaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class F1Evaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype F1Evaluator = class
interface IEvaluatorPublic NotInheritable Class F1Evaluator
Implements IEvaluator- Overname
-
F1Evaluator
- Implementeringen
Opmerkingen
De F1Evaluator F1-score van een antwoord ('hypothese') wordt berekend ten opzichte van een grondwaarverwijzing die door GroundTruth. De score wordt geretourneerd in een NumericMetric met een waarde tussen 0,0 en 1,0, waarbij 0,0 helemaal geen overeenkomst vertegenwoordigt en 1,0 een perfecte overeenkomst aangeeft. Standaard wordt de score geïnterpreteerd met een pass/fail cutoff van 0,5. Een score van 0,5 of hoger wordt dus doorgegeven en een score onder 0,5 mislukt.
Constructors
| Name | Description |
|---|---|
| F1Evaluator() |
Een IEvaluator die de kwaliteit van een antwoord evalueert dat door een AI-model wordt geproduceerd door het te vergelijken met een referentieantwoord met behulp van het score-algoritme F1. F1-score is de verhouding van het aantal gedeelde woorden tussen het gegenereerde antwoord en het verwijzingsantwoord. |
Eigenschappen
| Name | Description |
|---|---|
| EvaluationMetricNames |
Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator. |
| F1MetricName |
Haalt de Name geretourneerde NumericMetric door F1Evaluator. |
Methoden
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalueert de opgegeven |
