Ottenere informazioni dettagliate sul rilevamento degli effetti audio

  • Si applica a: Cloud-based Azure AI Video Indexer

Il rilevamento degli effetti audio rileva gli eventi acustici e li classifica in categorie come risate, reazioni di folla, allarmi o sirene.

Casi d'uso degli effetti audio

  • Migliorare l'accessibilità offrendo più contesto per un pubblico con problemi di udito mediante la trascrizione di effetti sonori non vocali.
  • Miglioramento dell'efficienza durante la creazione di dati non elaborati per gli autori di contenuti. Momenti importanti in promo e trailer come risate, reazioni di folla, colpi di pistola o esplosioni possono essere identificati, ad esempio, in Media e Entertainment.
  • Rilevare e classificare colpi di pistola, esplosioni e frantumi di vetro in un sistema smart-city o in altri ambienti pubblici che includono telecamere e microfoni.

Categorie audio supportate

Il rilevamento degli effetti audio può rilevare e classificare gli effetti in categorie standard e avanzate. Per altre informazioni, vedere la pagina relativa ai prezzi.

La tabella seguente mostra le categorie supportate in base al Preset Name (Solo audio / Video + Audio vs. Advance Audio / Advance Video + Audio). Quando si usa l'indicizzazione avanzata , le categorie vengono visualizzate nel riquadro Informazioni dettagliate del sito Web.

Class Indicizzazione standard Indicizzazione avanzata
Reazioni di folla ✔️
Silence ✔️ ✔️
Colpo di pistola o esplosione ✔️
Rottura del vetro ✔️
Allarme o sirena ✔️
Laughter ✔️
Dog ✔️
Campanello suonante ✔️
Bird ✔️
Car ✔️
Engine ✔️
Crying ✔️
Riproduzione musicale ✔️
Screaming ✔️
Thunderstorm ✔️

Visualizzare il codice JSON di informazioni dettagliate con il portale Web

Dopo aver caricato e indicizzato un video, scaricare informazioni dettagliate in formato JSON dal portale Web.

  1. Selezionare la scheda Libreria .
  2. Seleziona il supporto che desideri.
  3. Selezionare Download e quindi Insights (JSON). Il file JSON viene aperto in una nuova scheda del browser.
  4. Trovare la coppia di chiavi descritta nella risposta di esempio.

Ecco un esempio che mostra il rilevamento degli effetti audio.

Screenshot che mostra il rilevamento dell'effetto audio di colpo di arma da fuoco nel portale Web di Azure AI Video Indexer e il file JSON scaricato.

Usare l'API

  1. Usare una richiesta di Get Video Index. Passare &includeSummarizedInsights=false.
  2. Trovare le coppie chiave descritte nella risposta di esempio.

Risposta di esempio

    "audioEffects": [
      {
        "id": 1,
        "type": "Silence",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:01:46.243",
            "adjustedEnd": "0:01:50.434",
            "start": "0:01:46.243",
            "end": "0:01:50.434"
          }
        ]
      },
      {
        "id": 2,
        "type": "Speech",
        "instances": [
          {
            "confidence": 0,
            "adjustedStart": "0:00:00",
            "adjustedEnd": "0:01:43.06",
            "start": "0:00:00",
            "end": "0:01:43.06"
          }
        ]
      }
    ]

Important

Consultare la panoramica delle note sulla trasparenza per le funzionalità di VI.

Esempio di codice

Vedere tutti gli esempi per VI

Sottotitoli nascosti

Gli effetti audio nei file di sottotitoli chiusi vengono visualizzati tra parentesi quadre:

Type Example
SRT 00:00:00,000 00:00:03,671
[Pistola o esplosione]
VTT 00:00:00.000 00:00:03.671
[Pistola o esplosione]
TTML Attendibilità: 0,9047
<p begin="00:00:00.000" end="00:00:03.671">[Gunshot or explosion]</p>
TXT [Pistola o esplosione]
CSV 0.9047.00:00:00.000.00:00:03.671, [Colpo di pistola o esplosione]

Note

  • Silence il tipo di evento non viene aggiunto ai sottotitoli chiusi.
  • La durata minima del timer per mostrare un evento è di 700 millisecondi.

Aggiungere effetti audio ai file di sottotitoli chiusi

Per includere effetti audio nei file di sottotitoli chiusi, è possibile usare l'API o il portale Web.

API

È possibile aggiungere effetti audio ai file di sottotitoli chiusi con la richiesta Ottieni sottotitoli video e scegliendo true per il includeAudioEffects parametro .

Note

Quando si usa la trascrizione degli aggiornamenti dai file di sottotitoli chiusi o si aggiorna il modello linguistico personalizzato dai file di sottotitoli chiusi, gli effetti audio inclusi in tali file vengono ignorati.

Portale Web

È anche possibile usare il portale Web selezionando Scarica ->Sottotitoli chiusi -> Includi effetti audio.

Contenuti correlati

  • Last updated on