Naslaginformatie over voice live-API 2025-10-01

De Voice Live-API biedt realtime bidirectionele communicatie voor spraaktoepassingen met behulp van WebSocket-verbindingen. Deze API ondersteunt geavanceerde functies, waaronder spraakherkenning, tekst-naar-spraaksynthese, avatarstreaming, animatiegegevens en uitgebreide mogelijkheden voor audioverwerking.

De API maakt gebruik van gebeurtenissen in JSON-indeling die via WebSocket-verbindingen worden verzonden om gesprekken, audiostreams, avatarinteracties en realtime antwoorden te beheren. Gebeurtenissen worden gecategoriseerd in clientgebeurtenissen (verzonden van client naar server) en servergebeurtenissen (verzonden van server naar client).

Key Features

• Realtime audioverwerking: ondersteuning voor meerdere audio-indelingen, waaronder PCM16 met verschillende samplefrequenties en G.711 codecs
• Geavanceerde spraakopties: OpenAI-stemmen, aangepaste Stemmen van Azure, Standaardstemmen van Azure en persoonlijke Stemmen van Azure
• Avatar-integratie: avatarstreaming op basis van WebRTC met video, animatie en blendshapes
• Intelligente schakeldetectie: meerdere VAD-opties, waaronder semantische VAD van Azure en detectie aan de serverzijde
• Audioverbetering: ingebouwde ruisonderdrukking en echo-annulering
• Functie aanroepen: Integratie van hulpprogramma's voor verbeterde gespreksmogelijkheden
• Flexibel sessiebeheer: configureerbare uitvoermodaliteiten, instructies en antwoordparameters

Client Events

De Voice Live-API ondersteunt de volgende clientgebeurtenissen die van de client naar de server kunnen worden verzonden:

session.update

Werk de configuratie van de sessie bij. Deze gebeurtenis kan op elk gewenst moment worden verzonden om instellingen zoals spraak, uitvoermodaliteiten, draaidetectie, hulpprogramma's en andere sessieparameters te wijzigen. Zodra een sessie is geïnitialiseerd met een bepaald model, kan deze niet meer worden gewijzigd in een ander model.

Event Structure

{
  "type": "session.update",
  "session": {
    "modalities": ["text", "audio"],
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "instructions": "You are a helpful assistant. Be concise and friendly.",
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 300,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Properties

Voorbeeld met Azure Custom Voice

{
  "type": "session.update",
  "session": {
    "voice": {
      "type": "azure-custom",
      "name": "my-custom-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "temperature": 0.7,
      "style": "cheerful"
    },
    "input_audio_noise_reduction": {
      "type": "azure_deep_noise_suppression"
    },
    "avatar": {
      "character": "lisa",
      "customized": false,
      "video": {
        "resolution": {
          "width": 1920,
          "height": 1080
        },
        "bitrate": 2000000
      }
    }
  }
}

session.avatar.connect

Maak een avatarverbinding door de SDP -aanbieding (Session Description Protocol) van de client op te geven voor webRTC-mediaonderhandeling. Deze gebeurtenis is vereist bij het gebruik van avatarfuncties.

Event Structure

{
  "type": "session.avatar.connect",
  "client_sdp": "<client_sdp>"
}

Properties

input_audio_buffer.append

Voeg audiobytes toe aan de audiobuffer voor invoer.

Event Structure

{
  "type": "input_audio_buffer.append",
  "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Properties

input_audio_buffer.commit

Voer de invoeraudiobuffer door voor verwerking.

Event Structure

{
  "type": "input_audio_buffer.commit"
}

Properties

input_audio_buffer.clear

Wis de invoeraudiobuffer.

Event Structure

{
  "type": "input_audio_buffer.clear"
}

Properties

conversation.item.create

Voeg een nieuw item toe aan de gesprekscontext. Dit kan berichten, functieoproepen en antwoorden van functieoproepen zijn. Items kunnen worden ingevoegd op specifieke posities in de gespreksgeschiedenis.

Event Structure

{
  "type": "conversation.item.create",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Properties

Voorbeeld met audio-inhoud

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello there"
      }
    ]
  }
}

Voorbeeld met uitvoer van functieoproep

{
  "type": "conversation.item.create",
  "item": {
    "type": "function_call_output",
    "call_id": "call_123",
    "output": "{\"location\": \"San Francisco\", \"temperature\": \"70\"}"
  }
}

Voorbeeld met MCP-goedkeuringsantwoord

{
  "type": "conversation.item.create",
  "item": {
    "type": "mcp_approval_response",
    "approval_request_id": "mcp_approval_req_456",
    "approve": true,
  }
}

conversation.item.retrieve

Een specifiek item ophalen uit de gespreksgeschiedenis. Dit is handig voor het inspecteren van verwerkte audio na ruisonderdrukking en VAD.

Event Structure

{
  "type": "conversation.item.retrieve",
  "item_id": "item_ABC123"
}

Properties

conversation.item.truncate

De audio-inhoud van een assistentbericht afkappen. Dit is handig voor het stoppen van afspelen op een specifiek punt en het synchroniseren van het begrip van de server met de status van de client.

Event Structure

{
  "type": "conversation.item.truncate",
  "item_id": "item_ABC123",
  "content_index": 0,
  "audio_end_ms": 5000
}

Properties

conversation.item.delete

Een item verwijderen uit de gespreksgeschiedenis.

Event Structure

{
  "type": "conversation.item.delete",
  "item_id": "item_ABC123"
}

Properties

response.create

Geef de server de opdracht om een antwoord te maken via modeldeductie. Met deze gebeurtenis kunt u antwoordspecifieke configuratie opgeven die de standaardinstellingen voor sessies overschrijft.

Event Structure

{
  "type": "response.create",
  "response": {
    "modalities": ["text", "audio"],
    "instructions": "Be extra helpful and detailed.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "output_audio_format": "pcm16",
    "temperature": 0.7,
    "max_response_output_tokens": 1000
  }
}

Properties

Voorbeeld met keuze van hulpprogramma

{
  "type": "response.create",
  "response": {
    "modalities": ["text"],
    "tools": [
      {
        "type": "function",
        "name": "get_current_time",
        "description": "Get the current time",
        "parameters": {
          "type": "object",
          "properties": {}
        }
      }
    ],
    "tool_choice": "get_current_time",
    "temperature": 0.3
  }
}

Voorbeeld met animatie

{
  "type": "response.create",
  "response": {
    "modalities": ["audio", "animation"],
    "animation": {
      "model_name": "default",
      "outputs": ["blendshapes", "viseme_id"]
    },
    "voice": {
      "type": "azure-custom",
      "name": "my-expressive-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "style": "excited"
    }
  }
}

response.cancel

Annuleer een reactie die wordt uitgevoerd. Hierdoor wordt het genereren van reacties en gerelateerde audio-uitvoer onmiddellijk gestopt.

Event Structure

{
  "type": "response.cancel"
}

Properties

input_audio_buffer.append

De client input_audio_buffer.append gebeurtenis wordt gebruikt om audiobytes toe te voegen aan de invoeraudiobuffer. De audiobuffer is tijdelijke opslag waarnaar u kunt schrijven en later doorvoeren.

In de modus Server VAD (Spraakactiviteitsdetectie) wordt de audiobuffer gebruikt om spraak te detecteren en bepaalt de server wanneer deze moet worden doorgevoerd. Wanneer server-VAD is uitgeschakeld, kan de client kiezen hoeveel audio in elke gebeurtenis moet worden geplaatst tot maximaal 15 MiB. Als u bijvoorbeeld kleinere segmenten van de client streamt, kan de VAD sneller reageren.

In tegenstelling tot de meeste andere client gebeurtenissen, verzendt de server geen bevestigingsreactie naar de client input_audio_buffer.append gebeurtenis.

Event structure

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Properties

input_audio_buffer.clear

De client input_audio_buffer.clear gebeurtenis wordt gebruikt om de audiobytes in de buffer te wissen.

De server reageert met een input_audio_buffer.cleared gebeurtenis.

Event structure

{
  "type": "input_audio_buffer.clear"
}

Properties

input_audio_buffer.commit

De client-gebeurtenis input_audio_buffer.commit wordt gebruikt om de audiobuffer voor gebruikersinvoer door te voeren, waardoor er een nieuw gebruikersberichtitem in het gesprek wordt gemaakt. Audio wordt getranscribeerd als input_audio_transcription deze is geconfigureerd voor de sessie.

Wanneer de client zich in de VAD-modus van de server bevindt, hoeft deze gebeurtenis niet te worden verzonden. De server voert de audiobuffer automatisch door. Zonder server-VAD moet de client de audiobuffer doorvoeren om een gebruikersberichtitem te maken. Deze client gebeurtenis produceert een fout als de invoer audiobuffer leeg is.

Als u de invoeraudiobuffer doorvoert, wordt er geen antwoord van het model gemaakt.

De server reageert met een input_audio_buffer.committed gebeurtenis.

Event structure

{
  "type": "input_audio_buffer.commit"
}

Properties

Server Events

De Voice Live-API verzendt de volgende servergebeurtenissen om de status, antwoorden en gegevens te communiceren met de client:

session.created

Verzonden wanneer een nieuwe sessie tot stand is gebracht. Dit is de eerste gebeurtenis die is ontvangen nadat u verbinding hebt gemaakt met de API.

Event Structure

{
  "type": "session.created",
  "session": {
    "id": "sess_ABC123DEF456",
    "object": "realtime.session",
    "model": "gpt-realtime",
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful assistant.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 300,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Properties

session.updated

Verzonden wanneer de sessieconfiguratie is bijgewerkt als reactie op een session.update client gebeurtenis.

Event Structure

{
  "type": "session.updated",
  "session": {
    "id": "sess_ABC123DEF456",
    "voice": {
      "type": "azure-custom",
      "name": "my-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012"
    },
    "temperature": 0.7,
    "avatar": {
      "character": "lisa",
      "customized": false
    }
  }
}

Properties

session.avatar.connecting

Geeft aan dat er een avatar WebRTC-verbinding tot stand is gebracht. Deze gebeurtenis wordt verzonden als reactie op een session.avatar.connect client gebeurtenis.

Event Structure

{
  "type": "session.avatar.connecting",
  "server_sdp": "<server_sdp>"
}

Properties

conversation.item.created

Verzonden wanneer een nieuw item wordt toegevoegd aan het gesprek, via een client-gebeurtenis conversation.item.create of automatisch tijdens het genereren van reacties.

Event Structure

{
  "type": "conversation.item.created",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Properties

Voorbeeld met audio-item

{
  "type": "conversation.item.created",
  "item": {
    "id": "item_GHI789",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": null,
        "transcript": "What's the weather like today?"
      }
    ]
  }
}

conversation.item.retrieved

Verzonden als reactie op een conversation.item.retrieve client gebeurtenis, waarbij het aangevraagde gespreksitem wordt opgegeven.

Event Structure

{
  "type": "conversation.item.retrieved",
  "item": {
    "id": "item_ABC123",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
      }
    ]
  }
}

Properties

conversation.item.truncated

De servergebeurtenis conversation.item.truncated wordt geretourneerd wanneer de client een eerder audioberichtitem met een assistent afkapt met een conversation.item.truncate gebeurtenis. Deze gebeurtenis wordt gebruikt om het begrip van de audio van de server te synchroniseren met het afspelen van de client.

Met deze gebeurtenis wordt de audio afgekapt en wordt de transcriptie van de tekst aan de serverzijde verwijderd om ervoor te zorgen dat er geen tekst is in de context waarover de gebruiker niet weet.

Event structure

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

conversation.item.deleted

Verzonden als reactie op een conversation.item.delete clientgebeurtenis, waarbij wordt bevestigd dat het opgegeven item uit het gesprek is verwijderd.

Event Structure

{
  "type": "conversation.item.deleted",
  "item_id": "item_ABC123"
}

Properties

response.created

Verzonden wanneer een nieuwe reactiegeneratie begint. Dit is de eerste gebeurtenis in een reactievolgorde.

Event Structure

{
  "type": "response.created",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "in_progress",
    "status_details": null,
    "output": [],
    "usage": {
      "total_tokens": 0,
      "input_tokens": 0,
      "output_tokens": 0
    }
  }
}

Properties

response.done

Verzonden wanneer het genereren van antwoorden is voltooid. Deze gebeurtenis bevat het laatste antwoord met alle uitvoeritems en gebruiksstatistieken.

Event Structure

{
  "type": "response.done",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "completed",
    "status_details": null,
    "output": [
      {
        "id": "item_DEF456",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 87,
      "input_tokens": 52,
      "output_tokens": 35,
      "input_token_details": {
        "cached_tokens": 0,
        "text_tokens": 45,
        "audio_tokens": 7
      },
      "output_token_details": {
        "text_tokens": 15,
        "audio_tokens": 20
      }
    }
  }
}

Properties

response.output_item.added

Verzonden wanneer er tijdens het genereren een nieuw uitvoeritem wordt toegevoegd aan het antwoord.

Event Structure

{
  "type": "response.output_item.added",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "in_progress",
    "role": "assistant",
    "content": []
  }
}

Properties

response.output_item.done

Verzonden wanneer een uitvoeritem is voltooid.

Event Structure

{
  "type": "response.output_item.done",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "text",
        "text": "Hello! I'm doing well, thank you for asking."
      }
    ]
  }
}

Properties

response.content_part.added

De servergebeurtenis response.content_part.added wordt geretourneerd wanneer een nieuw inhoudsonderdeel wordt toegevoegd aan een assistentberichtitem tijdens het genereren van het antwoord.

Event Structure

{
  "type": "response.content_part.added",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": ""
  }
}

Properties

response.content_part.done

De servergebeurtenis response.content_part.done wordt geretourneerd wanneer een inhoudsonderdeel klaar is met streamen in een assistentberichtitem.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event Structure

{
  "type": "response.content_part.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": "Hello! I'm doing well, thank you for asking."
  }
}

Properties

response.text.delta

Tekstinhoud streamen vanuit het model. Incrementeel verzonden naarmate het model tekst genereert.

Event Structure

{
  "type": "response.text.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm"
}

Properties

response.text.done

Verzonden wanneer het genereren van tekstinhoud is voltooid.

Event Structure

{
  "type": "response.text.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Properties

response.audio.delta

Audio-inhoud streamen van het model. Audio wordt geleverd als base64-gecodeerde gegevens.

Event Structure

{
  "type": "response.audio.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Properties

response.audio.done

Verzonden wanneer het genereren van audio-inhoud is voltooid.

Event Structure

{
  "type": "response.audio.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

response.audio_transcript.delta

Streamingtranscriptie van de gegenereerde audio-inhoud.

Event Structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm doing"
}

Properties

response.audio_transcript.done

Verzonden wanneer het genereren van audiotranscripties is voltooid.

Event Structure

{
  "type": "response.audio_transcript.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Properties

conversation.item.input_audio_transcription.completed

De server conversation.item.input_audio_transcription.completed gebeurtenis is het resultaat van audiotranscriptie voor spraak die naar de audiobuffer is geschreven.

Transcriptie begint wanneer de invoeraudiobuffer wordt doorgevoerd door de client of server (in server_vad de modus). Transcriptie wordt asynchroon uitgevoerd bij het maken van een antwoord, zodat deze gebeurtenis vóór of na de reactie-gebeurtenissen kan komen.

Realtime-API-modellen accepteren audio direct, en daarom is invoertranscriptie een apart proces dat wordt uitgevoerd op een afzonderlijk spraakherkenningsmodel, zoals whisper-1. Het transcript kan dus enigszins afwijken van de interpretatie van het model en moet worden behandeld als een ruwe handleiding.

Event structure

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

conversation.item.input_audio_transcription.delta

De servergebeurtenis conversation.item.input_audio_transcription.delta wordt geretourneerd wanneer audiotranscriptie voor invoer is geconfigureerd en er een transcriptieaanvraag voor een gebruikersbericht wordt uitgevoerd. Deze gebeurtenis biedt gedeeltelijke transcriptieresultaten zodra ze beschikbaar komen.

Event structure

{
  "type": "conversation.item.input_audio_transcription.delta",
  "item_id": "<item_id>",
  "content_index": 0,
  "delta": "<delta>"
}

Properties

conversation.item.input_audio_transcription.failed

De servergebeurtenis conversation.item.input_audio_transcription.failed wordt geretourneerd wanneer de invoer van audiotranscriptie is geconfigureerd en een transcriptieaanvraag voor een gebruikersbericht is mislukt. Deze gebeurtenis staat los van andere error gebeurtenissen, zodat de client het gerelateerde item kan identificeren.

Event structure

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Error properties

response.animation_blendshapes.delta

De servergebeurtenis response.animation_blendshapes.delta wordt geretourneerd wanneer het model animatie-blendshapes-gegevens genereert als onderdeel van een antwoord. Deze gebeurtenis biedt incrementele blendshapes-gegevens zodra deze beschikbaar zijn.

Event structure

{
  "type": "response.animation_blendshapes.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "frame_index": 0,
  "frames": [
    [0.0, 0.1, 0.2, ..., 1.0]
    ...
  ]
}

Properties

response.animation_blendshapes.done

De servergebeurtenis response.animation_blendshapes.done wordt geretourneerd wanneer het model klaar is met het genereren van animatie-blendshapes-gegevens als onderdeel van een antwoord.

Event structure

{
  "type": "response.animation_blendshapes.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
}

Properties

response.audio_timestamp.delta

De servergebeurtenis response.audio_timestamp.delta wordt geretourneerd wanneer het model audiotijdstempelgegevens genereert als onderdeel van een antwoord. Deze gebeurtenis biedt incrementele tijdstempelgegevens voor uitvoeraudio en tekstuitlijning zodra deze beschikbaar is.

Event structure

{
  "type": "response.audio_timestamp.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "audio_duration_ms": 500,
  "text": "Hello",
  "timestamp_type": "word"
}

Properties

response.audio_timestamp.done

Verzonden wanneer het genereren van audiotijdstempels is voltooid.

Event Structure

{
  "type": "response.audio_timestamp.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

response.animation_viseme.delta

De servergebeurtenis response.animation_viseme.delta wordt geretourneerd wanneer het model animatievisemegegevens genereert als onderdeel van een antwoord. Deze gebeurtenis biedt incrementele visemegegevens zodra deze beschikbaar zijn.

Event Structure

{
  "type": "response.animation_viseme.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "viseme_id": 1
}

Properties

response.animation_viseme.done

De servergebeurtenis response.animation_viseme.done wordt geretourneerd wanneer het model klaar is met het genereren van animatie-visemegegevens als onderdeel van een antwoord.

Event Structure

{
  "type": "response.animation_viseme.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

error

De servergebeurtenis error wordt geretourneerd wanneer er een fout optreedt, wat een clientprobleem of een serverprobleem kan zijn. De meeste fouten kunnen worden hersteld en de sessie blijft geopend.

Event structure

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Properties

Error properties

warning

De servergebeurtenis warning wordt geretourneerd wanneer er een waarschuwing optreedt die de gespreksstroom niet onderbreekt. Waarschuwingen zijn informatief en de sessie wordt normaal voortgezet.

Event structure

{
  "type": "warning",
  "warning": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Warning properties

input_audio_buffer.cleared

De servergebeurtenis input_audio_buffer.cleared wordt geretourneerd wanneer de client de invoeraudiobuffer wist met een input_audio_buffer.clear gebeurtenis.

Event structure

{
  "type": "input_audio_buffer.cleared"
}

Properties

input_audio_buffer.committed

De servergebeurtenis input_audio_buffer.committed wordt geretourneerd wanneer een invoeraudiobuffer wordt doorgevoerd door de client of automatisch in de server-VAD-modus. De item_id eigenschap is de id van het gebruikersberichtitem dat is gemaakt. Er wordt dus ook een conversation.item.created gebeurtenis naar de client verzonden.

Event structure

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Properties

input_audio_buffer.speech_started

De servergebeurtenis input_audio_buffer.speech_started wordt geretourneerd in server_vad de modus wanneer spraak wordt gedetecteerd in de audiobuffer. Deze gebeurtenis kan zich voordoen wanneer audio aan de buffer wordt toegevoegd (tenzij spraak al is gedetecteerd).

De client verwacht een input_audio_buffer.speech_stopped gebeurtenis te ontvangen wanneer spraak stopt. De item_id eigenschap is de id van het gebruikersberichtitem dat is gemaakt wanneer spraak stopt. De item_id is ook opgenomen in de input_audio_buffer.speech_stopped gebeurtenis, tenzij de client de audiobuffer handmatig doorvoert tijdens vad-activering.

Event structure

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Properties

input_audio_buffer.speech_stopped

De servergebeurtenis input_audio_buffer.speech_stopped wordt geretourneerd in server_vad de modus wanneer de server het einde van de spraak in de audiobuffer detecteert.

De server verzendt ook een conversation.item.created gebeurtenis met het gebruikersberichtitem dat is gemaakt op basis van de audiobuffer.

Event structure

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

rate_limits.updated

De server rate_limits.updated gebeurtenis wordt verzonden aan het begin van een reactie om de bijgewerkte frequentielimieten aan te geven.

Wanneer een antwoord wordt gemaakt, zijn sommige tokens gereserveerd voor de uitvoertokens. De frequentielimieten die hier worden weergegeven, weerspiegelen die reservering, die vervolgens dienovereenkomstig wordt aangepast zodra het antwoord is voltooid.

Event structure

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Properties

response.audio.delta

De servergebeurtenis response.audio.delta wordt geretourneerd wanneer de door het model gegenereerde audio wordt bijgewerkt.

Event structure

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.audio.done

De servergebeurtenis response.audio.done wordt geretourneerd wanneer de door het model gegenereerde audio wordt uitgevoerd.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event structure

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

response.audio_transcript.delta

De servergebeurtenis response.audio_transcript.delta wordt geretourneerd wanneer de door het model gegenereerde transcriptie van audio-uitvoer wordt bijgewerkt.

Event structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.audio_transcript.done

De servergebeurtenis response.audio_transcript.done wordt geretourneerd wanneer de door het model gegenereerde transcriptie van audio-uitvoer klaar is met streamen.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event structure

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

response.function_call_arguments.delta

De servergebeurtenis response.function_call_arguments.delta wordt geretourneerd wanneer de door het model gegenereerde functie-aanroepargumenten worden bijgewerkt.

Event structure

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Properties

response.function_call_arguments.done

De servergebeurtenis response.function_call_arguments.done wordt geretourneerd wanneer de door het model gegenereerde functie-aanroepargumenten klaar zijn met streamen.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event structure

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Properties

mcp_list_tools.in_progress

De servergebeurtenis mcp_list_tools.in_progress wordt geretourneerd wanneer de service begint met het weergeven van beschikbare hulpprogramma's van een mcp-server.

Event structure

{
  "type": "mcp_list_tools.in_progress",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

mcp_list_tools.completed

De servergebeurtenis mcp_list_tools.completed wordt geretourneerd wanneer de service de beschikbare hulpprogramma's van een mcp-server heeft voltooid.

Event structure

{
  "type": "mcp_list_tools.completed",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

mcp_list_tools.failed

De servergebeurtenis mcp_list_tools.failed wordt geretourneerd wanneer de service de beschikbare hulpprogramma's van een mcp-server niet kan vermelden.

Event structure

{
  "type": "mcp_list_tools.failed",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

response.mcp_call_arguments.delta

De servergebeurtenis response.mcp_call_arguments.delta wordt geretourneerd wanneer de door het model gegenereerde mcp-hulpprogramma-aanroepargumenten worden bijgewerkt.

Event structure

{
  "type": "response.mcp_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "delta": "<delta>"
}

Properties

response.mcp_call_arguments.done

De servergebeurtenis response.mcp_call_arguments.done wordt geretourneerd wanneer de door het model gegenereerde mcp-hulpprogramma-aanroepargumenten klaar zijn met streamen.

Event structure

{
  "type": "response.mcp_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "arguments": "<arguments>"
}

Properties

response.mcp_call.in_progress

De servergebeurtenis response.mcp_call.in_progress wordt geretourneerd wanneer een MCP-hulpprogrammaaanroep wordt gestart met verwerken.

Event structure

{
  "type": "response.mcp_call.in_progress",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.mcp_call.completed

De servergebeurtenis response.mcp_call.completed wordt geretourneerd wanneer een MCP-hulpprogrammaaanroep is voltooid.

Event structure

{
  "type": "response.mcp_call.completed",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.mcp_call.failed

De servergebeurtenis response.mcp_call.failed wordt geretourneerd wanneer een MCP-hulpprogrammaaanroep mislukt.

Event structure

{
  "type": "response.mcp_call.failed",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.output_item.added

De servergebeurtenis response.output_item.added wordt geretourneerd wanneer er een nieuw item wordt gemaakt tijdens het genereren van het antwoord.

Event structure

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

response.output_item.done

De servergebeurtenis response.output_item.done wordt geretourneerd wanneer een item klaar is met streamen.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event structure

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

response.text.delta

De servergebeurtenis response.text.delta wordt geretourneerd wanneer de door het model gegenereerde tekst wordt bijgewerkt. De tekst komt overeen met het text inhoudsgedeelte van een assistentberichtitem.

Event structure

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.text.done

De servergebeurtenis response.text.done wordt geretourneerd wanneer de door het model gegenereerde tekst wordt gestreamd. De tekst komt overeen met het text inhoudsgedeelte van een assistentberichtitem.

Deze gebeurtenis wordt ook geretourneerd wanneer een antwoord wordt onderbroken, onvolledig of geannuleerd.

Event structure

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Properties

Components

Audio Formats

RealtimeAudioFormat

Basisaudio-indeling die wordt gebruikt voor invoeraudio.

Allowed Values:

• pcm16 - 16-bits PCM-audio-indeling
• g711_ulaw - G.711 μ-law audio-indeling
• g711_alaw - G.711 A-law audio-indeling

RealtimeOutputAudioFormat

Audio-indeling die wordt gebruikt voor uitvoeraudio met specifieke samplingfrequenties.

Allowed Values:

• pcm16 - 16-bits PCM-audio-indeling met standaardsamplingfrequentie (24kHz)
• pcm16_8000hz - 16-bits PCM-audio-indeling met een samplingfrequentie van 8 kHz
• pcm16_16000hz - 16-bits PCM-audio-indeling met een samplingfrequentie van 16kHz
• g711_ulaw - G.711 μ-law audioformaat (mu-law) met een samplingfrequentie van 8kHz
• g711_alaw - G.711 A-law audio-indeling bij 8kHz samplingfrequentie

RealtimeAudioInputTranscriptionSettings

Configuratie voor audiotranscriptie van invoer.

RealtimeInputAudioNoiseReductionSettings

Dit kan het volgende zijn:

• Een RealtimeOpenAINoiseReductieobject
• Een RealtimeAzureDeepNoiseSuppression-object

RealtimeOpenAINoiseReduction

OpenAI-ruisreductieconfiguratie met expliciet typeveld, alleen beschikbaar voor gpt-realtime en gpt-realtime-mini modellen.

RealtimeAzureDeepNoiseSuppression

Configuratie voor geluidsruisonderdrukking voor invoer.

RealtimeInputAudioEchoCancellationSettings

Echo-annuleringsconfiguratie voor audioverwerking aan de serverzijde.

Voice Configuration

RealtimeVoice

Samenvoeging van alle ondersteunde spraakconfiguraties.

Dit kan het volgende zijn:

• Een RealtimeOpenAIVoice-object
• Een RealtimeAzureVoice-object

RealtimeOpenAIVoice

OpenAI-spraakconfiguratie met expliciet typeveld.

RealtimeAzureVoice

Basis voor Azure-spraakconfiguraties. Dit is een gediscrimineerde samenvoeging met verschillende typen:

RealtimeAzureStandardVoice

Standaard spraakconfiguratie van Azure.

RealtimeAzureCustomVoice

Aangepaste spraakconfiguratie van Azure (voorkeur voor aangepaste stemmen).

Example:

{
  "type": "azure-custom",
  "name": "my-custom-voice",
  "endpoint_id": "12345678-1234-1234-1234-123456789012",
  "temperature": 0.7,
  "style": "cheerful",
  "locale": "en-US"
}

RealtimeAzurePersonalVoice

Persoonlijke spraakconfiguratie van Azure.

Turn Detection

RealtimeTurnDetection

Configuratie voor turndetectie. Dit is een gediscrimineerde vereniging die meerdere VAD-typen ondersteunt.

RealtimeServerVAD

Basis-VAD-schakeldetectie.

RealtimeOpenAISemanticVAD

OpenAI semantische VAD-configuratie die gebruikmaakt van een model om te bepalen wanneer de gebruiker klaar is met spreken. Alleen beschikbaar voor gpt-realtime en gpt-realtime-mini modellen.

RealtimeAzureSemanticVAD

Azure-semantische VAD, die bepaalt wanneer de gebruiker begint en spreekt met behulp van een semantisch spraakmodel, wat robuustere detectie biedt in luidruchtige omgevingen.

RealtimeAzureSemanticVADMultilingual

Azure semantische VAD (standaardvariant).

RealtimeEOUDetection

Azure End-of-Utterance (EOU) kan aangeven wanneer de eindgebruiker stopte met spreken terwijl natuurlijke pauzes mogelijk zijn. De detectie van het einde van een uiting kan voortijdige beurt-eind-signalen aanzienlijk verminderen zonder merkbare latentie voor de gebruiker toe te voegen.

Avatar Configuration

RealtimeAvatarConfig

Configuratie voor avatarstreaming en gedrag.

RealtimeIceServer

ICE-serverconfiguratie voor webRTC-verbindingsonderhandeling.

RealtimeVideoParams

Parameters voor videostreaming voor avatar.

RealtimeVideoCrop

Definitie van rechthoek bijsnijden van video.

RealtimeVideoResolution

Specificatie van videoresolutie.

RealtimeAvatarScene

Configuratie voor het zoomniveau, positie, draaiing en bewegingsamplitude van avatar in het videoframe.

Animation Configuration

RealtimeAnimation

Configuratie voor animatie-uitvoer, waaronder blendshapes en visemes.

RealtimeAnimationOutputType

Typen animatiegegevens die moeten worden uitgevoerd.

Allowed Values:

• blendshapes - Gegevens van gezichtsmixvormen
• viseme_id - Gegevens van Viseme-id

Session Configuration

RealtimeRequestSession

Sessieconfiguratieobject gebruikt in session.update gebeurtenissen.

RealtimeModality

Ondersteunde sessie-uitvoermodaliteiten.

Allowed Values:

• text - Tekstuitvoer
• audio - Audio-uitvoer
• animation - Animatie-uitvoer
• avatar - Avatar video-uitvoer

RealtimeAudioTimestampType

Typen uitvoertijdstempels die worden ondersteund in audioantwoordinhoud.

Allowed Values:

• word - Tijdstempels per woord in de uitvoeraudio

ReasoningEffort

Beperkingen voor redenering voor redeneringsmodellen. Raadpleeg de modeldocumentatie voor ondersteunde waarden voor elk model. Het verminderen van redeneringsinspanningen kan leiden tot snellere antwoorden en minder tokens die worden gebruikt voor redenering in een antwoord.

Allowed Values:

• none - Geen redeneringsinspanning
• minimal - Minimale redeneringsinspanning
• low - Lage redeneringsinspanning - snellere antwoorden met minder redenering
• medium - Gemiddelde redeneringsinspanning - evenwicht tussen snelheid en redeneringsdiepte
• high - Hoge redeneringsinspanning - grondigere redenering, kan langer duren
• xhigh - Extra hoge redeneringsinspanning - maximale redeneringsdiepte

Tool Configuration

We ondersteunen twee typen hulpprogramma's: functie-aanroepen en MCP-hulpprogramma's waarmee u verbinding kunt maken met een mcp-server.

RealtimeTool

Hulpprogrammadefinitie voor het aanroepen van functies.

RealtimeToolChoice

Strategie voor selectie van hulpprogramma's.

Dit kan het volgende zijn:

• "auto" - Laat het model kiezen
• "none" - Gebruik geen hulpprogramma's
• "required" - Moet een hulpprogramma gebruiken
• { "type": "function", "name": "function_name" } - Specifieke functie gebruiken

MCPTool

CONFIGURATIE van MCP-hulpprogramma's.

RealtimeConversationResponseItem

Dit is een samenvoegtype dat een van de volgende opties kan zijn:

RealtimeConversationUserMessageItem

Gebruikersberichtitem.

RealtimeConversationAssistantMessageItem

Berichtitem assistent.

RealtimeConversationSystemMessageItem

Systeemberichtitem.

RealtimeConversationFunctionCallItem

Aanvraagitem voor functieoproep.

RealtimeConversationFunctionCallOutputItem

Antwoorditem van functieoproep.

RealtimeConversationMCPListToolsItem

McP-lijsthulpprogramma's antwoorditem.

RealtimeConversationMCPCallItem

MCP-oproepantwoorditem.

RealtimeConversationMCPApprovalRequestItem

MCP-goedkeuringsaanvraagitem.

RealtimeItemStatus

Status van gespreksitems.

Allowed Values:

• in_progress - Momenteel verwerkt
• completed -Voltooid
• incomplete - Onvolledig (onderbroken of mislukt)

RealtimeContentPart

Inhoudsonderdeel binnen een bericht.

RealtimeInputTextContentPart

Tekstinhoudsonderdeel.

RealtimeOutputTextContentPart

Tekstinhoudsonderdeel.

RealtimeInputAudioContentPart

Audio-inhoudsonderdeel.

RealtimeOutputAudioContentPart

Audio-inhoudsonderdeel.

Response Objects

RealtimeResponse

Antwoordobject dat een modeldeductieantwoord vertegenwoordigt.

RealtimeResponseStatus

Antwoordstatuswaarden.

Allowed Values:

• in_progress - Antwoord wordt gegenereerd
• completed - Antwoord is voltooid
• cancelled - Antwoord is geannuleerd
• incomplete - Antwoord onvolledig (onderbroken)
• failed - Antwoord mislukt met fout

RealtimeUsage

Gebruiksstatistieken van tokens.

TokenDetails

Gedetailleerde uitsplitsing van tokengebruik.

Error Handling

RealtimeErrorDetails

Foutinformatieobject.

RealtimeConversationRequestItem

U gebruikt het RealtimeConversationRequestItem object om een nieuw item in het gesprek te maken via de gebeurtenis conversation.item.create .

Dit is een samenvoegtype dat een van de volgende opties kan zijn:

RealtimeSystemMessageItem

Een systeemberichtitem.

RealtimeUserMessageItem

Een gebruikersberichtitem.

RealtimeAssistantMessageItem

Een assistentberichtitem.

RealtimeFunctionCallItem

Een functie-aanroepitem.

RealtimeFunctionCallOutputItem

Een uitvoeritem van een functie-aanroep.

RealtimeMCPApprovalResponseItem

Een MCP-goedkeuringsantwoorditem.

RealtimeFunctionTool

De definitie van een functiehulpprogramma dat wordt gebruikt door het realtime-eindpunt.

RealtimeItemStatus

Allowed Values:

• in_progress
• completed
• incomplete

RealtimeResponseAudioContentPart

RealtimeResponseFunctionCallItem

RealtimeResponseFunctionCallOutputItem

RealtimeResponseOptions

RealtimeResponseSession

Het RealtimeResponseSession object vertegenwoordigt een sessie in de Realtime-API. Deze wordt gebruikt in een aantal van de server gebeurtenissen, zoals:

• session.created
• session.updated

RealtimeResponseStatusDetails

RealtimeRateLimitsItem

Related Resources

• De snelstartgids Voice Live uitproberen
• De quickstart voor Voice Live-agents uitproberen
• Meer informatie over het gebruik van de Voice Live-API