Creare un riepilogo degli eventi per il filmato della fotocamera - Anteprima

Video Indexer di Azure AI offre riepiloghi concisi per un massimo di sei ore di filmati video registrati da fotocamere live. Il riepilogo è costituito da due parti. La prima parte è una panoramica generale che fornisce una descrizione generale delle attività all'interno del video. La seconda parte è una raccolta di evidenziazioni che identificano in modo specifico gli eventi anomali e gli eventi richiesti nel campo "Focus on", inclusi i timestamp e gli intervalli.

Il riepilogo può aiutarti a recuperare gli eventi più importanti nel video senza dover guardare l'intero video. Ti aiuta a risparmiare tempo digerindo lunghi video e dandoti il gist di un video in un breve formato.

Per identificare eventi insoliti rilevanti in un video, aggiungere una richiesta "Focus on" che descrive il tipo di eventi a cui si è interessati, ad esempio "comportamento violento". Il campo Descrizione fotocamera fornisce informazioni più contestuali che possono rendere il riepilogo più accurato. Ad esempio, specificando la posizione della fotocamera o ciò che inquadra (ad esempio, "Parcheggio est") contribuisce alla qualità del riepilogo. Fa parte dell'input del riepilogo e può aiutare il modello LLM (Large Language Model) a ottenere più contesto del filmato.

Se non viene selezionata alcuna richiesta "Focus on", è disponibile una terza parte per il riepilogo denominata "Log dettagliato". Include un elenco di tutti i tracciati degli oggetti trovati dai rilevatori che facevano parte del preset della fotocamera. L'LLM ha verificato gli oggetti e ogni oggetto include una descrizione, un tempo, un movimento e un'affidabilità (da parte dell'LLM).

Casi d'uso

Il sistema di riepilogo video basato su intelligenza artificiale è progettato per facilitare la comprensione rapida ed efficiente del contenuto. Acquisisce eventi insoliti in lunghi video registrati da telecamere live, senza dover visualizzare l'intero filmato.

Ecco alcuni usi specifici:

• Aeroporto - Usa il riepilogo per lunghi video per trovare cose interessanti e insolite come una persona ferita e attività criminali come la violenza.
• Agenzie di sicurezza : usare il riepilogo per riepilogare le riprese della fotocamera e identificare eventi rilevanti vicino al confine.
• Produzione : il sistema può fornire riepiloghi di video registrati da telecamere live incentrate sulla sicurezza dei dipendenti. Può catturare eventi insoliti come violazioni del giubbotto di sicurezza, rilevamento delle cadute, perdite di petrolio o acqua, incendio e anomalie nella linea di produzione.
• Commercio al dettaglio– Usare il riepilogo per identificare l'ora di picco del traffico dei clienti durante il giorno.

Formati di output: è possibile impostare riepiloghi in modo da usare diversi stili di linguaggio: neutro, casual o formale. È anche possibile impostare la lunghezza di un riepilogo su short, medium o long.

Impostare lo stato attivo sull'invito

Per generare un riepilogo, aggiungere un prompt personalizzato "Focus on". Garantisce che il riepilogo sia accurato e personalizzato in base alle proprie esigenze identificando gli eventi che ti interessano. Aiuta il riepilogo a concentrarsi sugli eventi rilevanti per l'utente. Vedere gli esempi seguenti.

Examples

• Aeroporto : concentrarsi su eventi insoliti come: la persona che cade, le persone che entrano in aree limitate e il rilevamento delle cadute.
• Centro commerciale- Concentrarsi su eventi insoliti come la violenza o l'altercazione fisica.
• Sicurezza dei dipendenti : concentrarsi su eventi insoliti come la sicurezza dei dipendenti, inclusi i dipendenti che indossano giubbotti di sicurezza e caschi, il rilevamento delle cadute e le perdite di olio o acqua.
• Manifatturiero- Concentrarsi sulle persone che entrano nella linea di produzione.

Procedure consigliate per impostare il focus sul prompt

• Usare formulazioni generalizzate e meno esplicite quando si descrivono eventi estremi. Ad esempio, usa "alterco fisico" invece di "lotta".
• È consigliabile usare un LLM per descrivere l'area di interesse. Per esempio:
  • Concentrarsi sulle condizioni dei punti vendita al dettaglio e sui comportamenti dei clienti, tra cui:
    • Stato scaffale: scaffale vuoto, scaffale parzialmente vuoto.
    • Servizi igienico-sanitari: cestino inondato, corridoio sporco.
    • Folla e flusso: congestione del checkout, superamento della soglia di densità della folla e carrello incustodito.
    • Ambiente: avviso temperatura nelle sezioni refrigerate.
    • Oggetti e persone: persona con carrello acquisti, figlio da solo, uniforme dipendente, persona con aiuto di mobilità, cliente con animale domestico, persona con zaino aperto, pacchetto sospetto e prodotto danneggiato o aperto.
    • Azioni del cliente: andare via senza acquistare, rimettere l'articolo sullo scaffale. Pericoli: pavimento bagnato, liquido versato.
  • Rilevare e classificare gli eventi del cantiere che presentano rischi per i lavoratori o altre persone nelle vicinanze:
    • Comportamento non sicuro o pericoloso (ad esempio, uso improprio di strumenti, arrampicata non sicura e mancanza di protezione delle cadute).
    • Potenziali incidenti o quasi incidenti.
    • Violazioni dei protocolli di sicurezza di costruzione (ad esempio, mancano dispositivi di protezione personale (DPI) come caschi o imbracature, prossimità non sicura ai macchinari pesanti.
    • Condizioni del sito non sicure (ad esempio, passerelle ingombrate e strutture instabili).
    • Non indossando attrezzature di sicurezza come giubbotto di sicurezza e casco.

Limitazioni

• I risultati della funzionalità di riepilogo vengono creati da un modello linguistico di intelligenza artificiale. Sono destinati a fornire una panoramica generale. Anche se ci impegniamo per l'accuratezza e l'affidabilità, il contenuto potrebbe non incapsulare completamente l'essenza del materiale originale. È consigliabile rivedere e modificare il riepilogo prima dell'uso. Non dovrebbe essere considerato come un consiglio professionale o personalizzato.
• I risultati del riepilogo sono coerenti all'interno di ogni stile di riepilogo. Tuttavia, la modifica dell'intervallo di tempo o la ripetizione del riepilogo potrebbero causare risultati diversi.
• Quando si utilizzano stili di riepilogo, lo stile Neutral può occasionalmente assomigliare allo stile formale e lo stile Casual può talvolta includere hashtag correlati al contenuto. In alcuni casi, inoltre, un riepilogo di lunghezza "medio" potrebbe essere più breve di un riepilogo "Breve".
• Lunghezze del segmento video supportate per la generazione di un intervallo di riepilogo compreso tra 1 minuto e 6 ore. Brevi video o intervalli di tempo con poco contenuto potrebbero produrre potenziali imprecisioni di riepilogo che possono verificarsi quando si tratta di un breve input.
• La lunghezza del video può influenzare il livello di dettaglio estratto dal riepilogo video. I video lunghi possono comportare un riepilogo generale (non dettagliato).
• Il riepilogo generato può contenere imprecisioni, ad esempio identificazione errata del sesso, dell'età e di altre caratteristiche personali.
• Il riepilogo può occasionalmente includere o fare riferimento a istruzioni interne fornite (denominate "meta-prompt"). Potrebbe includere direttive per escludere contenuto dannoso.
• Il riepilogo potrebbe non visualizzare eventi brevi o interpretati erroneamente. L'algoritmo campiona a una frequenza di un fotogramma al secondo (FPS) e potrebbe trascurare o interpretare in modo impreciso brevi occorrenze o quelle che si verificano tra i fotogrammi campionati.
• Se il video originale contiene contenuto inappropriato, l'estratto di output di riepilogo video può essere interessato nei modi seguenti:
  • Potrebbe essere incompleto
  • Potrebbe contenere dichiarazioni di non responsabilità relative al contenuto inappropriato. In alcuni casi, potrebbe includere le virgolette inopportune effettive, che potrebbero essere presentate con o senza una dichiarazione di non responsabilità.
• Il riepilogo può mostrare intervalli di tempo non accurati se una fotocamera si disconnette e si richiede un riepilogo per un file registrato che include il periodo di disconnessione. Questo problema si verifica perché i timestamp nel video non sono allineati correttamente a causa della disconnessione.

Generare un riepilogo

1. Selezionare un file registrato voD (Video on demand) specifico.
2. Selezionare Configura e genera sotto il lettore.
3. Scrivi un prompt Focus on per specificare eventi interessanti o insoliti che si verificano nel video da evidenziare nel riepilogo.
4. Scegliere l'intervallo di tempo da riepilogare dal video. L'elaborazione di intervalli più lunghi può richiedere diverse ore.
5. Rivedere e quindi selezionare Genera riepilogo per iniziare a generare il riepilogo.
6. Per rigenerare il riepilogo per un intervallo di tempo diverso, selezionare Personalizza riepilogo e scegliere un nuovo intervallo di tempo. Effettuare le stesse azioni per modificare il focus sul prompt e sul formato di output.

Di seguito è riportato uno screenshot della finestra Genera riepilogo nel portale VI:

Contenuti correlati

• Guarda le registrazioni video live