Prompt Shields in Microsoft Foundry

Prompt Shields rileva e impedisce i tentativi di modificare il comportamento del modello tramite input antagonisti. La funzionalità protegge da due tipi di attacchi:

• Attacchi ai prompt utente — Prompt dannosi che tentano di ignorare le istruzioni di sistema o la formazione sulla sicurezza. Scansionata presso il punto di intervento dell'input dell'utente.
• Attacchi a documenti: istruzioni nascoste incorporate nel contenuto di terze parti (documenti, messaggi di posta elettronica, pagine Web) che tentano di dirottare la sessione del modello. Analizzata nei punti di intervento di input dell'utente e risposta degli strumenti.

Prompt Shields fanno parte del sistema di controlli e protezioni della fonderia. È possibile abilitarli durante la configurazione dei controlli di protezione per le distribuzioni del modello o gli agenti. Se abilitato, ogni richiesta restituisce risultati di annotazione con detected (vero/falso) e filtered (vero/falso).

Struttura di risposta di esempio:

{
  "choices": [...],
  "prompt_filter_results": [{
    "prompt_index": 0,
    "content_filter_results": {
      "jailbreak": {
        "filtered": false,
        "detected": true
      }
    }
  }]
}

Tipi di attacchi agli input

I tipi di attacchi di input rilevati da Prompt Shields sono descritti in questa tabella.

Scudi per i prompt degli utenti

In precedenza chiamato rilevamento dei rischi Jailbreak, questo scudo mira a proteggere da attacchi di iniezione di prompt utente, nei quali gli utenti sfruttano deliberatamente le vulnerabilità del sistema per ottenere comportamenti non autorizzati dall'LLM. Ciò potrebbe causare la generazione di contenuti inappropriati o violazioni delle restrizioni imposte dal sistema.

Esempi

Sottotipi di attacchi di Richiesta utente

Prompt Shields for User Prompt Attacks riconosce le classi di attacchi seguenti:

Schermature rapidi per i documenti

Questo scudo mira a proteggere contro gli attacchi che usano informazioni non fornite direttamente dall'utente o dallo sviluppatore, ad esempio documenti esterni. Gli utenti malintenzionati potrebbero incorporare istruzioni nascoste in questi materiali per ottenere un controllo non autorizzato sulla sessione LLM.

Esempi

Sottotipi di attacchi a documenti

Gli attacchi Prompt Shields for Documents riconoscono le classi di attacchi seguenti:

Messa in risalto (anteprima)

I contenuti in evidenza offrono una protezione avanzata dagli attacchi indiretti quando l'applicazione elabora documenti di terze parti che potrebbero contenere istruzioni dannose incorporate. Usare Spotlighting quando è necessario un livello di difesa aggiuntivo oltre al rilevamento standard degli attacchi ai documenti, soprattutto per le applicazioni che gestiscono file caricati dall'utente o contenuti Web esterni.

Come funziona

L'evidenziazione dei tag nei documenti di input con formattazione speciale per indicare un livello di affidabilità inferiore per il modello. Il servizio trasforma il contenuto del documento usando la codifica base 64 in modo che il modello lo consideri meno attendibile rispetto alle richieste dirette dell'utente e del sistema. Ciò consente di impedire al modello di eseguire comandi imprevisti trovati nei documenti di terze parti.

Costi e limitazioni

Non c'è alcun costo diretto per evidenziare i contenuti, ma aumenta il numero di token del documento a causa della codifica base-64, che può portare a un aumento dei costi totali. L'inserimento in evidenza può anche causare un superamento dei limiti di dimensioni di input per i documenti di grandi dimensioni. L'inserimento in evidenza è disponibile solo per i modelli usati tramite l'API Completamento chat.

Abilitare la messa in evidenza

La messa in evidenza è disattivata per impostazione predefinita. È possibile abilitarlo durante la configurazione dei controlli di protezione nel portale Foundry oppure tramite l'API REST, abilitando l'opzione Spotlighting quando si configurano i controlli di attacco ai documenti.

Configurare gli Scudi del Prompt

Uso del portale Foundry

1. Nel portale di Foundry, vai al tuo progetto.
2. Selezionare Guardrails dalla barra di navigazione a sinistra.
3. Selezionare Crea guardrail.
4. Scegliere Attacco di richiesta utente o Attacco documento dall'elenco a discesa rischio.
5. Selezionare i punti di intervento (input utente, risposta dello strumento) e azione (annotare o bloccare).
6. Per Spotlighting, abilitare il toggle Spotlighting durante la configurazione dei controlli di protezione dei documenti.
7. Assegna il guardrail alle distribuzioni o agli agenti del modello.

Per i passaggi di configurazione dettagliati, vedere Configurare protezioni e controlli.

Uso dell'API REST

POST https://{endpoint}/openai/deployments/{deployment-id}/chat/completions?api-version=2024-10-01-preview
Content-Type: application/json
api-key: {key}

{
  "messages": [{"role": "user", "content": "Hello"}],
  "data_sources": [{...}],
  "prompt_shield": {
    "user_prompt": {
      "enabled": true,
      "action": "annotate"
    },
    "documents": {
      "enabled": true,
      "action": "block",
      "spotlighting_enabled": true
    }
  }
}

Risoluzione dei problemi

Scudi Prompt non rilevano gli attacchi previsti

• Verificare che il guardrail sia assegnato alla distribuzione o all'agente
• Controllare la corrispondenza dei punti di intervento in cui si verificano gli attacchi (input utente e risposta dello strumento)
• Esaminare i risultati dell'annotazione per visualizzare lo stato rilevato e filtrato

Falsi positivi

• Regolare da "block" alla modalità "annota" per registrare senza filtrare
• Esaminare i sottotipi di attacco specifici che attivano falsi positivi
• Valutare la possibilità di esentare le origini di input attendibili dall'analisi degli attacchi ai documenti

Mettere in evidenza causando riferimenti di codifica nelle risposte

• Si tratta di un effetto collaterale noto quando la funzionalità Spotlighting è abilitata
• Considerare di disabilitare Spotlighting se le menzioni nella codifica interrompono l'esperienza utente
• Usare le richieste di sistema per indicare al modello di evitare di menzionare le codifiche

Risorse correlate per le barriere di sicurezza

• Cenni preliminari su guardrail e controlli
• Configurare protezioni e controlli
• Annotazioni di protezione
• Categorie di danni e livelli di gravità
• Filtro del contenuto