Referência de eventos de áudio

Eventos em tempo real são usados para se comunicar entre o cliente e o servidor em aplicativos de áudio em tempo real. Os eventos são enviados como objetos JSON em vários pontos de extremidade, como WebSockets ou WebRTC. Os eventos são usados para gerenciar a conversa, os buffers de áudio e as respostas em tempo real.

Você pode usar eventos de servidor e cliente de áudio com estas APIs:

• Azure API do OpenAI Realtime
• Azure API do AI Voice Live

A menos que especificado de outra forma, os eventos descritos neste documento são aplicáveis a ambas as APIs.

Client events

Há nove eventos de cliente que podem ser enviados do cliente para o servidor:

RealtimeClientEventConversationItemCreate

O evento cliente conversation.item.create é usado para adicionar um novo item ao contexto da conversa, incluindo mensagens, chamadas de função e respostas de chamada de função. Esse evento pode ser usado para preencher um histórico da conversa e adicionar novos itens no meio do fluxo. Atualmente, esse evento não pode preencher mensagens de áudio do assistente.

Se tiver êxito, o servidor responderá com um conversation.item.created evento, caso contrário, um error evento será enviado.

Event structure

{
  "type": "conversation.item.create",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeClientEventConversationItemDelete

O evento cliente conversation.item.delete é usado para remover um item do histórico de conversas.

O servidor responde com um conversation.item.deleted evento, a menos que o item não exista no histórico de conversas, nesse caso, o servidor responde com um erro.

Event structure

{
  "type": "conversation.item.delete",
  "item_id": "<item_id>"
}

Properties

RealtimeClientEventConversationItemRetrieve

O evento cliente conversation.item.retrieve é usado para recuperar a representação do servidor de um item específico no histórico da conversa. Esse evento é útil, por exemplo, para inspecionar o áudio do usuário após o cancelamento de ruído e o VAD.

Se o evento do cliente for bem-sucedido, o servidor responderá com um conversation.item.retrieved evento. Se o item não existir no histórico de conversas, o servidor responderá com um erro.

Event structure

{
  "type": "conversation.item.retrieve",
  "item_id": "<item_id>",
  "event_id": "<event_id>"
}

Properties

RealtimeClientEventConversationItemTruncate

O evento cliente conversation.item.truncate é usado para truncar o áudio de uma mensagem de assistente anterior. O servidor produz áudio mais rápido do que em tempo real, portanto, esse evento é útil quando o usuário interrompe para truncar o áudio que foi enviado ao cliente, mas ainda não reproduzido. A compreensão do servidor sobre o áudio com a reprodução do cliente é sincronizada.

O truncamento de áudio exclui a transcrição de texto do lado do servidor para garantir que não haja texto no contexto que o usuário não saiba.

Se o evento do cliente for bem-sucedido, o servidor responderá com um conversation.item.truncated evento.

Event structure

{
  "type": "conversation.item.truncate",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

RealtimeClientEventInputAudioBufferAppend

O evento cliente input_audio_buffer.append é usado para acrescentar bytes de áudio ao buffer de áudio de entrada. O buffer de áudio é um armazenamento temporário para o qual você pode gravar e confirmar posteriormente.

No modo VAD do servidor (Detecção de Atividade de Voz), o buffer de áudio é usado para detectar fala e o servidor decide quando fazer commit. Quando o VAD do servidor é desabilitado, o cliente pode escolher quanto áudio colocar em cada evento até um máximo de 15 MiB. Por exemplo, transmitir partes menores do cliente pode permitir que o VAD seja mais responsivo.

Ao contrário da maioria dos outros eventos do cliente, o servidor não envia uma resposta de confirmação ao evento do cliente input_audio_buffer.append .

Event structure

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Properties

RealtimeClientEventInputAudioBufferClear

O evento cliente input_audio_buffer.clear é usado para limpar os bytes de áudio no buffer.

O servidor responde com um input_audio_buffer.cleared evento.

Event structure

{
  "type": "input_audio_buffer.clear"
}

Properties

RealtimeClientEventInputAudioBufferCommit

O evento do cliente input_audio_buffer.commit é usado para confirmar o buffer de áudio de entrada do usuário, que cria um novo item de mensagem de usuário na conversa. O áudio será transcrito se input_audio_transcription estiver configurado para a sessão.

Quando no modo VAD do servidor, o cliente não precisa enviar esse evento, o servidor confirma o buffer de áudio automaticamente. Sem o VAD do servidor, o cliente deve confirmar o buffer de áudio para criar um item de mensagem do usuário. Esse evento cliente produzirá um erro se o buffer de áudio de entrada estiver vazio.

A confirmação do buffer de áudio de entrada não cria uma resposta do modelo.

O servidor responde com um input_audio_buffer.committed evento.

Event structure

{
  "type": "input_audio_buffer.commit"
}

Properties

RealtimeClientEventOutputAudioBufferClear

O evento cliente output_audio_buffer.clear é usado para limpar os bytes de áudio no buffer.

Esse evento deve ser precedido por um response.cancel evento cliente para interromper a geração da resposta atual.

O servidor para de gerar áudio e responde com um output_audio_buffer.cleared evento.

Event structure

{
  "type": "output_audio_buffer.clear"
}

Properties

RealtimeClientEventResponseCancel

O evento cliente response.cancel é usado para cancelar uma resposta em andamento.

O servidor responderá com um response.cancelled evento ou um erro se não houver resposta para cancelar.

Event structure

{
  "type": "response.cancel"
}

Properties

RealtimeClientEventResponseCreate

O evento cliente response.create é usado para instruir o servidor a criar uma resposta por meio de inferência de modelo. Quando a sessão é configurada no modo VAD do servidor, o servidor cria respostas automaticamente.

Uma resposta inclui pelo menos uma iteme pode ter duas, nesse caso, a segunda é uma chamada de função. Esses itens são acrescentados ao histórico de conversas.

O servidor responde com um evento, um response.created ou mais eventos de conteúdo e um item (como conversation.item.created e response.content_part.added), e, por fim, um response.done evento para indicar que a resposta está concluída.

Event structure

{
  "type": "response.create"
}

Properties

RealtimeClientEventSessionUpdate

O evento cliente session.update é usado para atualizar a configuração padrão da sessão. O cliente pode enviar esse evento a qualquer momento para atualizar a configuração da sessão e qualquer campo pode ser atualizado a qualquer momento, exceto por voz.

Somente os campos presentes são atualizados. Para limpar um campo (como instructions), passe uma cadeia de caracteres vazia.

O servidor responde com um session.updated evento que contém a configuração efetiva completa.

Event structure

{
  "type": "session.update"
}

Properties

Server events

Há 28 eventos de servidor que podem ser recebidos do servidor:

RealtimeServerEventConversationCreated

O evento do servidor conversation.created é retornado logo após a criação da sessão. Uma conversa é criada por sessão.

Event structure

{
  "type": "conversation.created",
  "conversation": {
    "id": "<id>",
    "object": "<object>"
  }
}

Properties

Conversation properties

RealtimeServerEventConversationItemCreated

O evento do servidor conversation.item.created é retornado quando um item de conversa é criado. Há vários cenários que produzem este evento:

• O servidor está gerando uma resposta, que se bem-sucedida produz um ou dois itens, que é do tipo message (função assistant) ou tipo function_call.
• O buffer de áudio de entrada é confirmado pelo cliente ou pelo servidor (no server_vad modo). O servidor usa o conteúdo do buffer de áudio de entrada e o adiciona a um novo item de mensagem do usuário.
• O cliente enviou um conversation.item.create evento para adicionar um novo item à conversa.

Event structure

{
  "type": "conversation.item.created",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeServerEventConversationItemRetrieved

O evento do servidor conversation.item.retrieved é retornado quando um item de conversa é recuperado.

Event structure

{
  "type": "conversation.item.retrieved",
  "previous_item_id": "<previous_item_id>"
}

Properties

RealtimeServerEventConversationItemDeleted

O evento do servidor conversation.item.deleted é retornado quando o cliente exclui um item na conversa com um conversation.item.delete evento. Esse evento é usado para sincronizar a compreensão do servidor sobre o histórico de conversas com a exibição do cliente.

Event structure

{
  "type": "conversation.item.deleted",
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventConversationItemInputAudioTranscriptionCompleted

O evento do servidor conversation.item.input_audio_transcription.completed é o resultado da transcrição de áudio da fala gravada no buffer de áudio.

A transcrição começa quando o buffer de áudio de entrada é confirmado pelo cliente ou servidor (no server_vad modo). A transcrição é executada de forma assíncrona com a criação da resposta, portanto, esse evento pode vir antes ou depois dos eventos de resposta.

Os modelos de API em tempo real aceitam áudio nativamente e, portanto, a transcrição de entrada é um processo separado executado em um modelo de reconhecimento de fala separado, como whisper-1. Portanto, a transcrição pode divergir um pouco da interpretação do modelo e deve ser tratada como um guia aproximado.

Event structure

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

RealtimeServerEventConversationItemInputAudioTranscriptionFailed

O evento do servidor conversation.item.input_audio_transcription.failed é retornado quando a transcrição de áudio de entrada é configurada e uma solicitação de transcrição para uma mensagem de usuário falhou. Esse evento é separado de outros error eventos para que o cliente possa identificar o item relacionado.

Event structure

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Error properties

RealtimeServerEventConversationItemTruncated

O evento do servidor conversation.item.truncated é retornado quando o cliente trunca um item de mensagem de áudio do assistente anterior com um conversation.item.truncate evento. Esse evento é usado para sincronizar a compreensão do servidor do áudio com a reprodução do cliente.

Esse evento trunca o áudio e remove a transcrição de texto do lado do servidor para garantir que não haja nenhum texto no contexto que o usuário não saiba.

Event structure

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

RealtimeServerEventError

O evento do servidor error é retornado quando ocorre um erro, o que pode ser um problema de cliente ou de servidor. A maioria dos erros é recuperável e a sessão permanece aberta.

Event structure

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Properties

Error properties

RealtimeServerEventInputAudioBufferCleared

O evento do servidor input_audio_buffer.cleared é retornado quando o cliente limpa o buffer de áudio de entrada com um input_audio_buffer.clear evento.

Event structure

{
  "type": "input_audio_buffer.cleared"
}

Properties

RealtimeServerEventInputAudioBufferCommitted

O evento do servidor input_audio_buffer.committed é retornado quando um buffer de áudio de entrada é confirmado pelo cliente ou automaticamente no modo VAD do servidor. A item_id propriedade é a ID do item de mensagem do usuário criado. Portanto, um conversation.item.created evento também é enviado ao cliente.

Event structure

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventInputAudioBufferSpeechStarted

O evento do servidor input_audio_buffer.speech_started é retornado no server_vad modo quando a fala é detectada no buffer de áudio. Esse evento pode acontecer sempre que o áudio for adicionado ao buffer (a menos que a fala já seja detectada).

O cliente deve esperar receber um input_audio_buffer.speech_stopped evento quando a fala for interrompida. A item_id propriedade é a ID do item de mensagem do usuário criado quando a fala é interrompida. O item_id também é incluído no evento, a input_audio_buffer.speech_stopped menos que o cliente confirme manualmente o buffer de áudio durante a ativação do VAD.

Event structure

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventInputAudioBufferSpeechStopped

O evento do servidor input_audio_buffer.speech_stopped é retornado no server_vad modo quando o servidor detecta o fim da fala no buffer de áudio.

O servidor também envia um conversation.item.created evento com o item de mensagem do usuário criado a partir do buffer de áudio.

Event structure

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventOutputAudioBufferCleared

O evento do servidor output_audio_buffer.cleared é retornado quando o buffer de áudio de saída é limpo.

Isso acontece no modo VAD quando o usuário é interrompido (input_audio_buffer.speech_started) ou quando o cliente emiti o output_audio_buffer.clear evento para cortar manualmente a resposta de áudio atual.

Event structure

{
  "type": "output_audio_buffer.cleared"
}

Properties

RealtimeServerEventOutputAudioBufferStarted

O evento do servidor output_audio_buffer.started é retornado quando o servidor começa a transmitir áudio para o cliente. Esse evento é emitido depois que uma parte de conteúdo de áudio é adicionada (response.content_part.added) à resposta.

Event structure

{
  "type": "output_audio_buffer.started",
  "event_id": "<item_id>",
  "response_id": "<response_id>"
}

Properties

RealtimeServerEventOutputAudioBufferStopped

O evento do servidor output_audio_buffer.stopped é retornado quando o buffer de áudio de saída é completamente drenado no servidor e não há mais áudio por vir.

Esse evento é retornado depois que os dados de resposta completos são enviados ao cliente por meio do response.done evento.

Event structure

{
  "type": "output_audio_buffer.stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

RealtimeServerEventRateLimitsUpdated

O evento do servidor rate_limits.updated é emitido no início de uma resposta para indicar os limites de taxa atualizados.

Quando uma resposta é criada, alguns tokens são reservados para os tokens de saída. Os limites de taxa mostrados aqui refletem essa reserva, que é ajustada de acordo quando a resposta é concluída.

Event structure

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Properties

RealtimeServerEventResponseAudioDelta

O evento do servidor response.audio.delta é retornado quando o áudio gerado pelo modelo é atualizado.

Event structure

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseAudioDone

O evento do servidor response.audio.done é retornado quando o áudio gerado pelo modelo é feito.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

RealtimeServerEventResponseAudioTranscriptDelta

O evento do servidor response.audio_transcript.delta é retornado quando a transcrição gerada pelo modelo da saída de áudio é atualizada.

Event structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseAudioTranscriptDone

O evento do servidor response.audio_transcript.done é retornado quando a transcrição gerada pelo modelo da saída de áudio é feita em streaming.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

RealtimeServerEventResponseContentPartAdded

O evento do servidor response.content_part.added é retornado quando uma nova parte de conteúdo é adicionada a um item de mensagem do assistente durante a geração de resposta.

Event structure

{
  "type": "response.content_part.added",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

Part properties

RealtimeServerEventResponseContentPartDone

O evento do servidor response.content_part.done é retornado quando uma parte de conteúdo é feita em streaming em um item de mensagem do assistente.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.content_part.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

Part properties

RealtimeServerEventResponseCreated

O evento do servidor response.created é retornado quando uma nova resposta é criada. Este é o primeiro evento de criação de resposta, em que a resposta está em um estado inicial de in_progress.

Event structure

{
  "type": "response.created"
}

Properties

RealtimeServerEventResponseDone

O evento do servidor response.done é retornado quando uma resposta é feita em streaming. Esse evento sempre é emitido, independentemente do estado final. O objeto de resposta incluído no response.done evento inclui todos os itens de saída na resposta, mas omite os dados de áudio brutos.

Event structure

{
  "type": "response.done"
}

Properties

RealtimeServerEventResponseFunctionCallArgumentsDelta

O evento do servidor response.function_call_arguments.delta é retornado quando os argumentos de chamada de função gerados pelo modelo são atualizados.

Event structure

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseFunctionCallArgumentsDone

O evento do servidor response.function_call_arguments.done é retornado quando os argumentos de chamada de função gerados pelo modelo são feitos em streaming.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Properties

RealtimeServerEventResponseOutputItemAdded

O evento do servidor response.output_item.added é retornado quando um novo item é criado durante a geração de resposta.

Event structure

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

RealtimeServerEventResponseOutputItemDone

O evento do servidor response.output_item.done é retornado quando um item é feito em streaming.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

RealtimeServerEventResponseTextDelta

O evento do servidor response.text.delta é retornado quando o texto gerado pelo modelo é atualizado. O texto corresponde à parte de text conteúdo de um item de mensagem do assistente.

Event structure

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

RealtimeServerEventResponseTextDone

O evento do servidor response.text.done é retornado quando o texto gerado pelo modelo é feito em streaming. O texto corresponde à parte de text conteúdo de um item de mensagem do assistente.

Esse evento também é retornado quando uma resposta é interrompida, incompleta ou cancelada.

Event structure

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Properties

RealtimeServerEventSessionCreated

O evento do servidor session.created é o primeiro evento de servidor quando você estabelece uma nova conexão com a API realtime. Esse evento cria e retorna uma nova sessão com a configuração de sessão padrão.

Event structure

{
  "type": "session.created"
}

Properties

RealtimeServerEventSessionUpdated

O evento do servidor session.updated é retornado quando uma sessão é atualizada pelo cliente. Se houver um erro, o servidor enviará um error evento.

Event structure

{
  "type": "session.updated"
}

Properties

Components

RealtimeAudioFormat

Allowed Values:

• pcm16
• g711_ulaw
• g711_alaw

RealtimeAudioInputTranscriptionModel

Allowed Values:

• whisper-1
• gpt-4o-transcribe
• gpt-4o-mini-transcribe
• gpt-4o-transcribe-diarize
• gpt-4o-mini-transcribe-2025-12-15

RealtimeAudioInputTranscriptionSettings

RealtimeAudioInputAudioNoiseReductionSettings

RealtimeClientEvent

RealtimeClientEventType

Allowed Values:

• session.update
• input_audio_buffer.append
• input_audio_buffer.commit
• input_audio_buffer.clear
• conversation.item.create
• conversation.item.delete
• conversation.item.truncate
• response.create
• response.cancel

RealtimeContentPart

RealtimeContentPartType

Allowed Values:

• input_text
• input_audio
• text
• audio

RealtimeConversationItemBase

O item a ser adicionado à conversa.

Esta tabela descreve todas as RealtimeConversationItem propriedades. As propriedades aplicáveis por evento dependem do RealtimeItemType.

RealtimeConversationRequestItem

Use o RealtimeConversationRequestItem objeto para criar um novo item na conversa por meio do evento conversation.item.create .

RealtimeConversationResponseItem

O RealtimeConversationResponseItem objeto representa um item na conversa. Ele é usado em alguns dos eventos do servidor, como:

• conversation.item.created
• response.output_item.added
• response.output_item.done
• response.created (por meio do response tipo RealtimeResponsede propriedade)
• response.done (por meio do response tipo RealtimeResponsede propriedade)

RealtimeFunctionTool

A definição de uma ferramenta de função, conforme usado pelo ponto de extremidade em tempo real.

RealtimeItemStatus

Allowed Values:

• in_progress
• completed
• incomplete

RealtimeItemType

Allowed Values:

• message
• function_call
• function_call_output

RealtimeMessageRole

Allowed Values:

• system
• user
• assistant

RealtimeRequestAssistantMessageItem

RealtimeRequestAudioContentPart

RealtimeRequestFunctionCallItem

RealtimeRequestFunctionCallOutputItem

RealtimeRequestMessageItem

RealtimeRequestMessageReferenceItem

RealtimeRequestSession

Use o RealtimeRequestSession objeto quando quiser atualizar a configuração da sessão por meio do evento session.update .

RealtimeRequestSystemMessageItem

RealtimeRequestTextContentPart

RealtimeRequestUserMessageItem

RealtimeResponse

RealtimeResponseAudioContentPart

RealtimeResponseBase

O recurso de resposta.

RealtimeResponseFunctionCallItem

RealtimeResponseFunctionCallOutputItem

RealtimeResponseMessageItem

RealtimeResponseOptions

RealtimeResponseSession

O RealtimeResponseSession objeto representa uma sessão na API realtime. Ele é usado em alguns dos eventos do servidor, como:

• session.created
• session.updated

RealtimeResponseStatus

Allowed Values:

• in_progress
• completed
• cancelled
• incomplete
• failed

RealtimeResponseStatusDetails

RealtimeResponseTextContentPart

RealtimeServerEvent

RealtimeServerEventRateLimitsUpdatedRateLimitsItem

RealtimeServerEventType

Allowed Values:

• session.created
• session.updated
• conversation.created
• conversation.item.created
• conversation.item.deleted
• conversation.item.truncated
• response.created
• response.done
• rate_limits.updated
• response.output_item.added
• response.output_item.done
• response.content_part.added
• response.content_part.done
• response.audio.delta
• response.audio.done
• response.audio_transcript.delta
• response.audio_transcript.done
• response.text.delta
• response.text.done
• response.function_call_arguments.delta
• response.function_call_arguments.done
• input_audio_buffer.speech_started
• input_audio_buffer.speech_stopped
• conversation.item.input_audio_transcription.completed
• conversation.item.input_audio_transcription.failed
• input_audio_buffer.committed
• input_audio_buffer.cleared
• error

RealtimeServerVadTurnDetection

RealtimeSessionBase

Configuração do objeto de sessão em tempo real.

RealtimeTool

A representação base de uma definição de ferramenta em tempo real.

RealtimeToolChoice

O conjunto combinado de representações disponíveis para um parâmetro em tempo tool_choice real, abrangendo as duas opções literais de cadeia de caracteres, como 'auto' e referências estruturadas a ferramentas definidas.

RealtimeToolChoiceFunctionObject

A representação de um tempo real tool_choice selecionando uma ferramenta de função nomeada.

RealtimeToolChoiceLiteral

O conjunto disponível de opções literais tool_choice de cadeia de caracteres no nível do modo para o ponto de extremidade em tempo real.

Allowed Values:

• auto
• none
• required

RealtimeToolChoiceObject

Uma representação base para um tempo tool_choice real selecionando uma ferramenta nomeada.

RealtimeToolType

Os discriminadores de tipo de ferramenta com suporte para ferramentas em tempo real. Atualmente, há suporte apenas para ferramentas de "função".

Allowed Values:

• function

RealtimeTurnDetection

RealtimeTurnDetectionType

Allowed Values:

• semantic_vad - O VAD semântico detecta quando o usuário termina de falar com base nas palavras que ele pronunciou. O áudio de entrada é pontuado com base na probabilidade de o usuário terminar de falar. Quando a probabilidade for baixa, o modelo aguardará um tempo limite. Quando a probabilidade é alta, não há necessidade de esperar.
• server_vad – O servidor avalia o áudio do usuário do cliente. O servidor usa automaticamente esse áudio para iniciar a geração de resposta em conversas aplicáveis quando um fim de fala é detectado.

RealtimeVoice

Allowed Values:

• alloy
• ash
• ballad
• coral
• echo
• sage
• shimmer
• verse

Related content

• Introdução ao início rápido da API em tempo real.
• Saiba mais sobre como usar a API do Realtime.