Referência de eventos áudio

Eventos em tempo real são usados para comunicar entre o cliente e o servidor em aplicações de áudio em tempo real. Os eventos são enviados como objetos JSON através de vários endpoints, como WebSockets ou WebRTC. Os eventos são usados para gerir a conversa, os buffers de áudio e as respostas em tempo real.

Pode usar eventos de áudio cliente e servidor com estas APIs:

• Azure OpenAI Realtime API
• Azure AI Voice Live API

Salvo indicação em contrário, os eventos descritos neste documento são aplicáveis a ambas as APIs.

Client events

Existem nove eventos do cliente que podem ser enviados do cliente para o servidor:

RealtimeClientEventConversationItemCreate

O evento cliente conversation.item.create é usado para adicionar um novo elemento ao contexto da conversa, incluindo mensagens, chamadas de função e respostas de chamadas de função. Este evento pode ser usado para preencher o histórico da conversa e para adicionar novos itens a meio do processo. Neste momento, este evento não consegue preencher mensagens áudio dos assistentes.

Se for bem-sucedido, o servidor responde com um conversation.item.created evento, caso contrário um error evento é enviado.

Event structure

{
  "type": "conversation.item.create",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeClientEventConversationItemDelete

O evento cliente conversation.item.delete é usado para remover um item do histórico de conversas.

O servidor responde com um conversation.item.deleted evento, a menos que o item não exista no histórico da conversa, caso em que o servidor responde com um erro.

Event structure

{
  "type": "conversation.item.delete",
  "item_id": "<item_id>"
}

Properties

RealtimeClientEventConversationItemRetrieve

O evento cliente conversation.item.retrieve é usado para recuperar a representação do servidor de um item específico no histórico da conversa. Este evento é útil, por exemplo, para inspecionar o áudio do utilizador após cancelamento de ruído e VAD.

Se o evento do cliente for bem-sucedido, o servidor responde com um conversation.item.retrieved evento. Se o item não aparecer no histórico de conversas, o servidor responderá com um erro.

Event structure

{
  "type": "conversation.item.retrieve",
  "item_id": "<item_id>",
  "event_id": "<event_id>"
}

Properties

RealtimeClientEventConversationItemTruncate

O evento cliente conversation.item.truncate é usado para truncar o áudio de uma mensagem de assistente anterior. O servidor produz áudio mais rápido do que em tempo real, por isso este evento é útil quando o utilizador interrompe para truncar áudio que foi enviado ao cliente mas ainda não foi reproduzido. A compreensão do áudio do servidor com a reprodução do cliente é sincronizada.

Truncar áudio elimina a transcrição do texto do lado do servidor para garantir que não há texto no contexto que o utilizador desconheça.

Se o evento do cliente for bem-sucedido, o servidor responde com um conversation.item.truncated evento.

Event structure

{
  "type": "conversation.item.truncate",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

RealtimeClientEventInputAudioBufferAppend

O evento cliente input_audio_buffer.append é usado para adicionar bytes de áudio ao buffer de áudio de entrada. O buffer de áudio é um armazenamento temporário onde podes escrever e depois fazer commit.

No modo Server VAD (Deteção de Atividade de Voz), o buffer de áudio é usado para detetar a fala e o servidor decide quando comprometer. Quando o VAD do servidor está desativado, o cliente pode escolher quanto áudio colocar em cada evento até um máximo de 15 MiB. Por exemplo, transmitir pequenos blocos do cliente pode permitir que o VAD seja mais responsivo.

Ao contrário da maioria dos outros eventos do cliente, o servidor não envia uma resposta de confirmação ao evento do cliente input_audio_buffer.append .

Event structure

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Properties

RealtimeClientEventInputAudioBufferClear

O evento cliente input_audio_buffer.clear é usado para limpar os bytes de áudio no buffer.

O servidor responde com um input_audio_buffer.cleared evento.

Event structure

{
  "type": "input_audio_buffer.clear"
}

Properties

RealtimeClientEventInputAudioBufferCommit

O evento cliente input_audio_buffer.commit é usado para comprometer o buffer de áudio de entrada do utilizador, que cria um novo elemento de mensagem de utilizador na conversa. O áudio é transcrito se input_audio_transcription estiver configurado para a sessão.

Quando está em modo VAD de servidor, o cliente não precisa de enviar este evento, o servidor faz commit automático do buffer de áudio. Sem o VAD do servidor, o cliente tem de comprometer o buffer de áudio para criar um item de mensagem do utilizador. Este evento cliente produz um erro se o buffer de áudio de entrada estiver vazio.

Confirmar o buffer de áudio de entrada não cria uma resposta do modelo.

O servidor responde com um input_audio_buffer.committed evento.

Event structure

{
  "type": "input_audio_buffer.commit"
}

Properties

RealtimeClientEventOutputAudioBufferClear

O evento cliente output_audio_buffer.clear é usado para limpar os bytes de áudio no buffer.

Este evento deve ser precedido por um response.cancel evento cliente para interromper a geração da resposta atual.

O servidor deixa de gerar áudio e responde com um output_audio_buffer.cleared evento.

Event structure

{
  "type": "output_audio_buffer.clear"
}

Properties

RealtimeClientEventResponseCancel

O evento cliente response.cancel é usado para cancelar uma resposta em andamento.

O servidor responde com um response.cancelled evento ou um erro se não houver resposta para cancelar.

Event structure

{
  "type": "response.cancel"
}

Properties

RealtimeClientEventResponseCreate

O evento cliente response.create é usado para instruir o servidor a criar uma resposta através de inferência de modelo. Quando a sessão está configurada em modo VAD do servidor, o servidor cria respostas automaticamente.

Uma resposta inclui pelo menos um item, e pode ter dois, caso em que o segundo é uma chamada de função. Estes itens são acrescentados ao histórico da conversa.

O servidor responde com um response.created evento, um ou mais eventos de item e conteúdo (como conversation.item.created e response.content_part.added), e finalmente um response.done evento para indicar que a resposta está completa.

Event structure

{
  "type": "response.create"
}

Properties

RealtimeClientEventSessionUpdate

O evento cliente session.update é usado para atualizar a configuração padrão da sessão. O cliente pode enviar este evento a qualquer momento para atualizar a configuração da sessão, e qualquer campo pode ser atualizado a qualquer momento, exceto o de voz.

Apenas os campos presentes são atualizados. Para limpar um campo (como instructions), passe uma cadeia vazia.

O servidor responde com um session.updated evento que contém a configuração efetiva completa.

Event structure

{
  "type": "session.update"
}

Properties

Server events

Existem 28 eventos de servidor que podem ser recebidos do servidor:

RealtimeServerEventConversationCreated

O evento do servidor conversation.created é devolvido logo após a criação da sessão. Cria-se uma conversa por sessão.

Event structure

{
  "type": "conversation.created",
  "conversation": {
    "id": "<id>",
    "object": "<object>"
  }
}

Properties

Conversation properties

RealtimeServerEventConversationItemCreated

O evento do servidor conversation.item.created é devolvido quando um item de conversa é criado. Existem vários cenários que produzem este evento:

• O servidor está a gerar uma resposta que, se bem-sucedida, produz um ou dois itens, que são do tipo message (papel assistant) ou do tipo function_call.
• O buffer de áudio de entrada é comprometido, seja pelo cliente ou pelo servidor (em server_vad modo). O servidor pega no conteúdo do buffer de áudio de entrada e adiciona-o a um novo item de mensagem do utilizador.
• O cliente enviou um conversation.item.create evento para adicionar um novo item à conversa.

Event structure

{
  "type": "conversation.item.created",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeServerEventConversationItemRetrieved

O evento do servidor conversation.item.retrieved é devolvido quando um item de conversa é recuperado.

Event structure

{
  "type": "conversation.item.retrieved",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeServerEventConversationItemDeleted

O evento do servidor conversation.item.deleted é devolvido quando o cliente elimina um item na conversa com um conversation.item.delete evento. Este evento é usado para sincronizar a compreensão do histórico de conversas pelo servidor com a visão do cliente.

Event structure

{
  "type": "conversation.item.deleted",
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventConversationItemInputAudioTranscriptionCompleted

O evento do servidor conversation.item.input_audio_transcription.completed é o resultado da transcrição de áudio para a fala escrita no buffer de áudio.

A transcrição começa quando o buffer de áudio de entrada é comprometido pelo cliente ou servidor (em server_vad modo). A transcrição corre de forma assíncrona com a criação de respostas, pelo que este evento pode ocorrer antes ou depois dos eventos de resposta.

Os modelos de API em tempo real aceitam áudio nativamente, e assim a transcrição de entrada é um processo separado executado num modelo de reconhecimento de voz distinto, como whisper-1. Assim, a transcrição pode divergir um pouco da interpretação do modelo e deve ser tratada como um guia aproximado.

Event structure

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

RealtimeServerEventConversationItemInputAudioTranscriptionFailed

O evento do servidor conversation.item.input_audio_transcription.failed é devolvido quando a transcrição áudio de entrada é configurada e um pedido de transcrição para uma mensagem de utilizador falhou. Este evento é separado dos outros error eventos para que o cliente possa identificar o item relacionado.

Event structure

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Error properties

RealtimeServerEventConversationItemTruncated

O evento servidor conversation.item.truncated é devolvido quando o cliente trunca um item de mensagem áudio assistente anterior com um conversation.item.truncate evento. Este evento é usado para sincronizar a compreensão do áudio pelo servidor com a reprodução do cliente.

Este evento trunca o áudio e remove a transcrição do texto do lado do servidor para garantir que não há texto no contexto que o utilizador desconheça.

Event structure

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

RealtimeServerEventError

O evento do servidor error é devolvido quando ocorre um erro, que pode ser um problema do cliente ou do servidor. A maioria dos erros é recuperável e a sessão mantém-se aberta.

Event structure

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Properties

Error properties

RealtimeServerEventInputAudioBufferCleared

O evento do servidor input_audio_buffer.cleared é devolvido quando o cliente limpa o buffer de áudio de entrada com um input_audio_buffer.clear evento.

Event structure

{
  "type": "input_audio_buffer.cleared"
}

Properties

RealtimeServerEventInputAudioBufferCommitted

O evento do servidor input_audio_buffer.committed é devolvido quando um buffer de áudio de entrada é confirmado, seja pelo cliente ou automaticamente em modo VAD do servidor. A item_id propriedade é o ID do item de mensagem do utilizador criado. Assim, um conversation.item.created evento também é enviado ao cliente.

Event structure

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventInputAudioBufferSpeechStarted

O evento do servidor input_audio_buffer.speech_started é devolvido em server_vad modo quando a fala é detetada no buffer de áudio. Este evento pode acontecer sempre que áudio é adicionado ao buffer (a menos que a fala já seja detetada).

O cliente deve esperar receber um input_audio_buffer.speech_stopped evento quando a fala cessar. A item_id propriedade é o ID do item de mensagem do utilizador criado quando a fala para. Também item_id é incluído no input_audio_buffer.speech_stopped evento, a menos que o cliente comprometa manualmente o buffer de áudio durante a ativação do VAD.

Event structure

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventInputAudioBufferSpeechStopped

O evento do servidor input_audio_buffer.speech_stopped é devolvido em server_vad modo quando o servidor deteta o fim da fala no buffer de áudio.

O servidor também envia um conversation.item.created evento com o item de mensagem do utilizador criado a partir do buffer de áudio.

Event structure

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventOutputAudioBufferCleared

O evento do servidor output_audio_buffer.cleared é devolvido quando o buffer de áudio de saída é apagado.

Isto acontece em modo VAD quando o utilizador interrompeu (input_audio_buffer.speech_started), ou quando o cliente emitiu o output_audio_buffer.clear evento para cortar manualmente a resposta áudio atual.

Event structure

{
  "type": "output_audio_buffer.cleared"
}

Properties

RealtimeServerEventOutputAudioBufferStarted

O evento do servidor output_audio_buffer.started é devolvido quando o servidor começa a transmitir áudio para o cliente. Este evento é emitido depois de uma parte de conteúdo áudio ter sido adicionada (response.content_part.added) à resposta.

Event structure

{
  "type": "output_audio_buffer.started",
  "event_id": "<item_id>",
  "response_id": "<response_id>"
}

Properties

RealtimeServerEventOutputAudioBufferStopped

O evento do servidor output_audio_buffer.stopped é devolvido quando o buffer de áudio de saída está completamente esvaziado no servidor, e não há mais áudio.

Este evento é devolvido depois de os dados completos de resposta terem sido enviados ao cliente através do response.done evento.

Event structure

{
  "type": "output_audio_buffer.stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventRateLimitsUpdated

O evento do servidor rate_limits.updated é emitido no início de uma resposta para indicar os limites de taxa atualizados.

Quando uma resposta é criada, alguns tokens são reservados para os tokens de saída. Os limites de taxa aqui apresentados refletem essa reserva, que é então ajustada em conformidade assim que a resposta é concluída.

Event structure

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Properties

RealtimeServerEventResponseAudioDelta

O evento do servidor response.audio.delta é devolvido quando o áudio gerado pelo modelo é atualizado.

Event structure

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseAudioDone

O evento do servidor response.audio.done é devolvido quando o áudio gerado pelo modelo termina.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

RealtimeServerEventResponseAudioTranscriptDelta

O evento do servidor response.audio_transcript.delta é devolvido quando a transcrição gerada pelo modelo da saída de áudio é atualizada.

Event structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseAudioTranscriptDone

O evento do servidor response.audio_transcript.done é devolvido quando a transcrição gerada pelo modelo da saída de áudio termina o streaming.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

RealtimeServerEventResponseContentPartAdded

O evento do servidor response.content_part.added é devolvido quando uma nova parte de conteúdo é adicionada a um item de mensagem assistente durante a geração da resposta.

Event structure

{
  "type": "response.content_part.added",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

Part properties

RealtimeServerEventResponseContentPartDone

O evento do servidor response.content_part.done é devolvido quando uma parte do conteúdo termina de ser transmitida num item de mensagem de assistente.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.content_part.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

Part properties

RealtimeServerEventResponseCreated

O evento do servidor response.created é devolvido quando uma nova resposta é criada. Este é o primeiro evento de criação de resposta, onde a resposta está num estado inicial de in_progress.

Event structure

{
  "type": "response.created"
}

Properties

RealtimeServerEventResponseDone

O evento do servidor response.done é devolvido quando uma resposta termina de ser transmitida. Este evento é sempre emitido, independentemente do estado final. O objeto de resposta incluído no response.done evento inclui todos os itens de saída da resposta, mas omite os dados de áudio brutos.

Event structure

{
  "type": "response.done"
}

Properties

RealtimeServerEventResponseFunctionCallArgumentsDelta

O evento servidor response.function_call_arguments.delta é devolvido quando os argumentos de chamada de função gerados pelo modelo são atualizados.

Event structure

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseFunctionCallArgumentsDone

O evento do servidor response.function_call_arguments.done é devolvido quando os argumentos das chamadas de função gerados pelo modelo terminam de ser transmitidos.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Properties

RealtimeServerEventResponseOutputItemAdded

O evento do servidor response.output_item.added é devolvido quando um novo item é criado durante a geração da resposta.

Event structure

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

RealtimeServerEventResponseOutputItemDone

O evento do servidor response.output_item.done é devolvido quando um item termina de ser transmitido.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

RealtimeServerEventResponseTextDelta

O evento do servidor response.text.delta é devolvido quando o texto gerado pelo modelo é atualizado. O texto corresponde à text parte de conteúdo de um item de mensagem assistente.

Event structure

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseTextDone

O evento do servidor response.text.done é devolvido quando o texto gerado pelo modelo termina de ser transmitido. O texto corresponde à text parte de conteúdo de um item de mensagem assistente.

Este evento também é devolvido quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Properties

RealtimeServerEventSessionCreated

O evento do servidor session.created é o primeiro evento do servidor quando estabeleces uma nova ligação à API de Tempo Real. Este evento cria e devolve uma nova sessão com a configuração padrão da sessão.

Event structure

{
  "type": "session.created"
}

Properties

RealtimeServerEventSessionUpdated

O evento do servidor session.updated é devolvido quando uma sessão é atualizada pelo cliente. Se houver um erro, o servidor envia um error evento em vez disso.

Event structure

{
  "type": "session.updated"
}

Properties

Components

RealtimeAudioFormat

Allowed Values:

• pcm16
• g711_ulaw
• g711_alaw

RealtimeAudioInputTranscriptionModel

Allowed Values:

• whisper-1
• gpt-4o-transcribe
• gpt-4o-mini-transcribe
• gpt-4o-transcribe-diarize
• gpt-4o-mini-transcribe-2025-12-15

RealtimeAudioInputTranscriptionSettings

RealtimeAudioInputAudioNoiseReductionSettings

RealtimeClientEvent

RealtimeClientEventType

Allowed Values:

• session.update
• input_audio_buffer.append
• input_audio_buffer.commit
• input_audio_buffer.clear
• conversation.item.create
• conversation.item.delete
• conversation.item.truncate
• response.create
• response.cancel

RealtimeContentPart

RealtimeContentPartType

Allowed Values:

• input_text
• input_audio
• text
• audio

RealtimeConversationItemBase

O item a acrescentar à conversa.

Esta tabela descreve todas as RealtimeConversationItem propriedades. As propriedades aplicáveis a cada evento dependem do RealtimeItemType.

RealtimeConversationRequestItem

Usas o RealtimeConversationRequestItem objeto para criar um novo item na conversa através do evento conversation.item.create .

RealtimeConversationResponseItem

O RealtimeConversationResponseItem objeto representa um item na conversa. É usado em alguns dos eventos do servidor, tais como:

• conversation.item.created
• response.output_item.added
• response.output_item.done
• response.created (através do response tipo RealtimeResponsede propriedade )
• response.done (através do response tipo RealtimeResponsede propriedade )

RealtimeFunctionTool

A definição de uma ferramenta de função utilizada pelo endpoint em tempo real.

RealtimeItemStatus

Allowed Values:

• in_progress
• completed
• incomplete

RealtimeItemType

Allowed Values:

• message
• function_call
• function_call_output

RealtimeMessageRole

Allowed Values:

• system
• user
• assistant

RealtimeRequestAssistantMessageItem

RealtimeRequestAudioContentPart

RealtimeRequestFunctionCallItem

RealtimeRequestFunctionCallOutputItem

RealtimeRequestMessageItem

RealtimeRequestMessageReferenceItem

RealtimeRequestSession

Usas o RealtimeRequestSession objeto quando quiseres atualizar a configuração da sessão através do evento session.update .

RealtimeRequestSystemMessageItem

RealtimeRequestTextContentPart

RealtimeRequestUserMessageItem

RealtimeResponse

RealtimeResponseAudioContentPart

RealtimeResponseBase

O recurso de resposta.

RealtimeResponseFunctionCallItem

RealtimeResponseFunctionCallOutputItem

RealtimeResponseMessageItem

RealtimeResponseOptions

RealtimeResponseSession

O RealtimeResponseSession objeto representa uma sessão na API de Tempo Real. É usado em alguns dos eventos do servidor, tais como:

• session.created
• session.updated

RealtimeResponseStatus

Allowed Values:

• in_progress
• completed
• cancelled
• incomplete
• failed

RealtimeResponseStatusDetails

RealtimeResponseTextContentPart

RealtimeServerEvent

RealtimeServerEventRateLimitsUpdatedRateLimitsItem

RealtimeServerEventType

Allowed Values:

• session.created
• session.updated
• conversation.created
• conversation.item.created
• conversation.item.deleted
• conversation.item.truncated
• response.created
• response.done
• rate_limits.updated
• response.output_item.added
• response.output_item.done
• response.content_part.added
• response.content_part.done
• response.audio.delta
• response.audio.done
• response.audio_transcript.delta
• response.audio_transcript.done
• response.text.delta
• response.text.done
• response.function_call_arguments.delta
• response.function_call_arguments.done
• input_audio_buffer.speech_started
• input_audio_buffer.speech_stopped
• conversation.item.input_audio_transcription.completed
• conversation.item.input_audio_transcription.failed
• input_audio_buffer.committed
• input_audio_buffer.cleared
• error

RealtimeServerVadTurnDetection

RealtimeSessionBase

Configuração de objetos de sessão em tempo real.

RealtimeTool

A representação base de uma definição de ferramenta em tempo real.

RealtimeToolChoice

O conjunto combinado de representações disponíveis para um parâmetro em tempo tool_choice real, englobando tanto opções literais de string como 'auto' como referências estruturadas a ferramentas definidas.

RealtimeToolChoiceFunctionObject

A representação de uma ferramenta em tempo tool_choice real que seleciona uma função nomeada.

RealtimeToolChoiceLiteral

O conjunto disponível de opções literais tool_choice ao nível do modo, string para o endpoint em tempo real.

Allowed Values:

• auto
• none
• required

RealtimeToolChoiceObject

Uma representação base para uma seleção em tempo tool_choice real de uma ferramenta nomeada.

RealtimeToolType

Os discriminadores de tipo de ferramenta suportados para ferramentas em tempo real. Atualmente, apenas ferramentas de 'funcional' são suportadas.

Allowed Values:

• function

RealtimeTurnDetection

RealtimeTurnDetectionType

Allowed Values:

• semantic_vad - O VAD semântico deteta quando o utilizador terminou de falar com base nas palavras que pronunciou. O áudio de entrada é pontuado com base na probabilidade de o utilizador ter terminado de falar. Quando a probabilidade é baixa, o modelo espera por um timeout. Quando a probabilidade é alta, não há necessidade de esperar.
• server_vad - O servidor avalia o áudio do utilizador proveniente do cliente. O servidor usa automaticamente esse áudio para iniciar a geração de respostas em conversas aplicáveis quando é detetado o fim da fala.

RealtimeVoice

Allowed Values:

• alloy
• ash
• ballad
• coral
• echo
• sage
• shimmer
• verse

Related content

• Comece com o Quickstart da API em Tempo Real.
• Saiba mais sobre como usar a API em Tempo Real.