Filtro di rilevamento della stabilità

Il rilevamento della fondatezza nel sistema di sicurezza dei contenuti di Azure AI consente di garantire che le risposte dei modelli linguistici di grandi dimensioni (LLM) siano basate sul materiale di origine fornito, riducendo il rischio di output non concreti o inventati.

Ungroundedness si riferisce ai casi in cui i modelli LLM producono informazioni non fattuali o imprecise rispetto a quanto presente nei materiali sorgente.

Il rilevamento della fondatezza richiede l'incorporamento e la formattazione dei documenti.

Per comprendere il rilevamento di groundedness, è utile avere familiarità con questi concetti di base:

Termini chiave

• Generazione aumentata tramite recupero (RAG): RAG è una tecnica per aumentare le conoscenze dei Modelli di Linguaggio di Grandi Dimensioni (LLM) con altri dati. I llms possono ragionare su argomenti di ampia portata, ma la loro conoscenza è limitata ai dati pubblici disponibili al momento in cui sono stati sottoposti a training. Se si vogliono creare applicazioni di intelligenza artificiale che possono determinare i dati privati o i dati introdotti dopo la data di cutoff di un modello, è necessario fornire al modello tali informazioni specifiche. Il processo di recupero delle informazioni appropriate e del loro inserimento nella richiesta del modello è noto come Generazione aumentata dal recupero (RAG). Per altre informazioni, vedere Generazione aumentata di recupero (RAG).
• Groundedness e Ungroundedness in LLMs: Riferisce alla misura in cui gli output del modello sono basati su informazioni fornite o riflettono accuratamente fonti affidabili. Una risposta ben fondata aderisce strettamente alle informazioni fornite, evitando speculazioni o invenzioni. Nelle misurazioni di groundedness, le informazioni di origine sono fondamentali e fungono da fonte di aderenza.

Modalità di rilevamento

Il rilevamento della fondatezza offre due modalità per bilanciare la velocità con l'interpretabilità.

• Modalità non ragionamento: rilevamento rapido per le applicazioni online. Restituisce risultati binari messi a terra/non messi a terra senza spiegazioni dettagliate.
• Modalità di ragionamento: Fornisce spiegazioni dettagliate per i segmenti non collegati rilevati. Migliore per comprendere le cause radice e le strategie di mitigazione.

Selezionare la modalità Non-Reasoning per le applicazioni in tempo reale in cui la latenza è importante. Usare la modalità di ragionamento durante lo sviluppo e il debug per comprendere il motivo per cui il contenuto è contrassegnato.

Selezione del dominio

Scegliere un dominio per ottimizzare il rilevamento per il caso d'uso:

• Medico: ottimizzato per contenuti medici, sanitari e scientifici in cui l'accuratezza è fondamentale
• Generico: adatto per contenuti per utilizzo generico, tra cui supporto clienti, documentazione e comunicazioni aziendali

La selezione del dominio modula la sensibilità e il comportamento di correzione del modello di rilevamento per la terminologia e i modelli specifici del dominio.

Specificazione attività

Specificare il tipo di attività per ottimizzare il rilevamento:

• Riepilogo: per convalidare i riepiloghi generati contro i documenti di origine
• QnA: per convalidare le risposte alle domande con le basi di conoscenza

La selezione delle attività regola la logica di rilevamento e correzione per i modelli specifici dell'attività.

Correzione della fondatezza (anteprima)

L'API di rilevamento della fondatezza include una funzionalità di correzione facoltativa che non solo rileva il contenuto non fondato, ma lo corregge automaticamente in base alle origini di base. Ciò è utile per:

• Correzione automatica degli errori effettivi nei riepiloghi generati
• Garantire che le risposte di intelligenza artificiale siano allineate al materiale di origine
• Riduzione del tempo di revisione manuale per il contenuto con volumi elevati

Scenari utente

Il rilevamento della fondatezza supporta attività di riepilogo e domande e risposte basate su testo per garantire che i riepiloghi o le risposte generati siano accurati e affidabili.

Attività di riepilogo:

• Sintesi medica: nel contesto di articoli di notizie sanitarie, il rilevamento di fondatezza può essere utilizzato per assicurarsi che la sintesi non contenga informazioni inventate o fuorvianti, assicurando ai lettori di ottenere informazioni mediche accurate e affidabili.
• Riepilogo del documento accademico: quando il modello genera riepiloghi di articoli accademici o di ricerca, la funzione può contribuire a garantire che il contenuto riepilogato rappresenti accuratamente i risultati e i contributi chiave senza introdurre false attestazioni.

Attività QnA:

• Chatbot di supporto clienti: nel supporto clienti, la funzione può essere usata per convalidare le risposte fornite dai chatbot di intelligenza artificiale, assicurandosi che i clienti ricevano informazioni accurate e affidabili quando fanno domande su prodotti o servizi.
• QnA medico: per il QnA medico, la funzione aiuta a verificare l'accuratezza delle risposte mediche e dei consigli forniti dai sistemi di IA ai professionisti sanitari e ai pazienti, riducendo il rischio di errori medici.
• QnA educativo: nelle impostazioni didattiche, la funzione può essere applicata alle attività QnA per verificare che le risposte alle domande accademiche o alle query di preparazione dei test siano effettivamente accurate, supportando il processo di apprendimento.

Di seguito sono riportati diversi scenari comuni che illustrano come e quando applicare queste funzionalità per ottenere i risultati migliori.

Riepilogo nei contesti medici

Si stanno riepilogando i documenti medici ed è fondamentale che i nomi dei pazienti nei riepiloghi siano accurati e coerenti con le fonti di base fornite.

Richiesta API di esempio:

{
  "domain": "Medical",
  "task": "Summarization",
  "text": "The patient name is Kevin.",
  "groundingSources": [
    "The patient name is Jane."
  ],
}

Risultato previsto:

La funzionalità di correzione rileva che Kevin non è messo a terra perché è in conflitto con la sorgente di messa a terra Jane. L'API restituisce il testo corretto: "The patient name is Jane."

Attività di domande e risposte (QnA) con i dati del servizio clienti

Si sta implementando un sistema QnA per un chatbot di supporto clienti. È essenziale che le risposte fornite dall'IA siano allineate alle informazioni più recenti e accurate disponibili.

Richiesta API di esempio:

{
  "domain": "Generic",
  "task": "QnA",
  "qna": {
    "query": "What is the current interest rate?"
  },
  "text": "The interest rate is 5%.",
  "groundingSources": [
    "As of July 2024, the interest rate is 4.5%."
  ],
}

Risultato previsto:

L'API rileva che 5% non è collegato a terra perché non corrisponde alla sorgente di messa a terra fornita 4.5%. La risposta include il testo di correzione: "The interest rate is 4.5%."

Creazione di contenuto con dati cronologici

Stai creando contenuti che coinvolgono dati o eventi cronologici, in cui l'accuratezza è fondamentale per mantenere la credibilità ed evitare disinformazioni.

Richiesta API di esempio:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "The Battle of Hastings occurred in 1065.",
  "groundingSources": [
    "The Battle of Hastings occurred in 1066."
  ],
}

Risultato previsto:

L'API rileva la data 1065 non ancorata e la corregge in 1066 in base alla fonte di riferimento. La risposta include il testo corretto: "The Battle of Hastings occurred in 1066."

Riepilogo della documentazione interna

Si stanno riepilogando documenti interni in cui i nomi dei prodotti, i numeri di versione o altri punti dati specifici devono rimanere coerenti.

Richiesta API di esempio:

{
  "domain": "Generic",
  "task": "Summarization",
  "text": "Our latest product is SuperWidget v2.1.",
  "groundingSources": [
    "Our latest product is SuperWidget v2.2."
  ],
}

Risultato previsto:

La funzionalità di correzione identifica SuperWidget v2.1 come non ancorato e lo aggiorna a SuperWidget v2.2 nella risposta. La risposta restituisce il testo corretto: "Our latest product is SuperWidget v2.2."

Limitazioni

Disponibilità della lingua

Attualmente, il rilevamento di fondo supporta solo il contenuto in lingua inglese. Anche se l'API non limita gli invii non in inglese, l'accuratezza e la qualità sono ottimizzate per l'inglese.

Limitazioni relative alla lunghezza del testo

La lunghezza massima del testo varia in base alla modalità. Vedere Requisiti di input per i limiti correnti.

Disponibilità dell'area

Il rilevamento di solidità è disponibile in regioni specifiche di Azure. Vedere Disponibilità dell'area per le aree supportate.

Limitazioni della frequenza

Si applicano i limiti di frequenza delle query predefiniti. Per requisiti di velocità effettiva più elevati, contattare il supporto di Content Safety.