Voice Live 2025-10-01 API-referens

Voice Live API tillhandahåller realtidskommunikation, tvåvägskommunikation för röstaktiverade applikationer med WebSocket-anslutningar. Detta API stöder avancerade funktioner inklusive taligenkänning, text-till-tal-syntes, avatarströmning, animationsdata och omfattande ljudbearbetningsmöjligheter.

API:et använder JSON-formaterade händelser som skickas över WebSocket-anslutningar för att hantera konversationer, ljudströmmar, avatarinteraktioner och svar i realtid. Händelser kategoriseras i klienthändelser (skickade från klient till server) och serverhändelser (skickade från server till klient).

Key Features

• Realtidsljudbehandling: Stöd för flera ljudformat inklusive PCM16 med olika samplingsfrekvenser och G.711-codecs
• Avancerade röstalternativ: OpenAI-röster, Azure anpassade röster, Azure standardröster och Azure personliga röster
• Avatarintegration: WebRTC-baserad avatarströmning med video, animation och blendshapes
• Intelligent Turn Detection: Flera VAD-alternativ inklusive Azure semantisk VAD och serverside-detektion
• Ljudförbättring: Inbyggd brusreducering och ekoreducering
• Funktionsanrop: Verktygsintegration för förbättrade konversationsmöjligheter
• Flexibel sessionshantering: Konfigurerbara utdatamodaliteter, instruktioner och responsparametrar

Client Events

Voice Live API stöder följande klienthändelser som kan skickas från klienten till servern:

session.update

Uppdatera sessionens konfiguration. Denna händelse kan skickas när som helst för att ändra inställningar såsom röst, utgångsmodaliteter, svängdetektion, verktyg och andra sessionsparametrar. Observera att när en session har initierats med en viss modell kan den inte ändras till en annan modell.

Event Structure

{
  "type": "session.update",
  "session": {
    "modalities": ["text", "audio"],
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "instructions": "You are a helpful assistant. Be concise and friendly.",
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 300,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Properties

Exempel med Azure Custom Voice

{
  "type": "session.update",
  "session": {
    "voice": {
      "type": "azure-custom",
      "name": "my-custom-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "temperature": 0.7,
      "style": "cheerful"
    },
    "input_audio_noise_reduction": {
      "type": "azure_deep_noise_suppression"
    },
    "avatar": {
      "character": "lisa",
      "customized": false,
      "video": {
        "resolution": {
          "width": 1920,
          "height": 1080
        },
        "bitrate": 2000000
      }
    }
  }
}

session.avatar.connect

Etablera en avataranslutning genom att tillhandahålla klientens SDP (Session Description Protocol) erbjudande för WebRTC-medieförhandling. Denna händelse krävs när avatarfunktioner används.

Event Structure

{
  "type": "session.avatar.connect",
  "client_sdp": "<client_sdp>"
}

Properties

input_audio_buffer.append

Lägg till ljudbyte i ingångsljudbufferten.

Event Structure

{
  "type": "input_audio_buffer.append",
  "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Properties

input_audio_buffer.commit

Sätt in ingångsljudbufferten för bearbetning.

Event Structure

{
  "type": "input_audio_buffer.commit"
}

Properties

input_audio_buffer.clear

Rensa ingångsljudbufferten.

Event Structure

{
  "type": "input_audio_buffer.clear"
}

Properties

conversation.item.create

Lägg till ett nytt ämne i samtalssammanhanget. Detta kan inkludera meddelanden, funktionsanrop och funktionsanropssvar. Objekt kan infogas på specifika platser i konversationshistoriken.

Event Structure

{
  "type": "conversation.item.create",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Properties

Exempel med ljudinnehåll

{
  "type": "conversation.item.create",
  "item": {
    "type": "message",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello there"
      }
    ]
  }
}

Exempel med Function Call-utgång

{
  "type": "conversation.item.create",
  "item": {
    "type": "function_call_output",
    "call_id": "call_123",
    "output": "{\"location\": \"San Francisco\", \"temperature\": \"70\"}"
  }
}

Exempel med MCP-godkännandesvar

{
  "type": "conversation.item.create",
  "item": {
    "type": "mcp_approval_response",
    "approval_request_id": "mcp_approval_req_456",
    "approve": true,
  }
}

conversation.item.retrieve

Hämta en specifik sak från konversationshistoriken. Detta är användbart för att inspektera bearbetat ljud efter brusreducering och VAD.

Event Structure

{
  "type": "conversation.item.retrieve",
  "item_id": "item_ABC123"
}

Properties

conversation.item.truncate

Förkorta ljudinnehållet i ett assistentmeddelande. Detta är användbart för att stoppa uppspelningen vid en specifik punkt och synkronisera serverns förståelse med klientens tillstånd.

Event Structure

{
  "type": "conversation.item.truncate",
  "item_id": "item_ABC123",
  "content_index": 0,
  "audio_end_ms": 5000
}

Properties

conversation.item.delete

Ta bort ett objekt från konversationshistoriken.

Event Structure

{
  "type": "conversation.item.delete",
  "item_id": "item_ABC123"
}

Properties

response.create

Instruera servern att skapa ett svar via modellinferens. Denna händelse kan specificera responsspecifik konfiguration som åsidosätter sessionsstandarder.

Event Structure

{
  "type": "response.create",
  "response": {
    "modalities": ["text", "audio"],
    "instructions": "Be extra helpful and detailed.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "output_audio_format": "pcm16",
    "temperature": 0.7,
    "max_response_output_tokens": 1000
  }
}

Properties

Exempel med Tool Choice

{
  "type": "response.create",
  "response": {
    "modalities": ["text"],
    "tools": [
      {
        "type": "function",
        "name": "get_current_time",
        "description": "Get the current time",
        "parameters": {
          "type": "object",
          "properties": {}
        }
      }
    ],
    "tool_choice": "get_current_time",
    "temperature": 0.3
  }
}

Exempel med animation

{
  "type": "response.create",
  "response": {
    "modalities": ["audio", "animation"],
    "animation": {
      "model_name": "default",
      "outputs": ["blendshapes", "viseme_id"]
    },
    "voice": {
      "type": "azure-custom",
      "name": "my-expressive-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012",
      "style": "excited"
    }
  }
}

response.cancel

Avboka ett pågående svar. Detta stoppar omedelbart responsgenereringen och relaterad ljudutgång.

Event Structure

{
  "type": "response.cancel"
}

Properties

input_audio_buffer.append

input_audio_buffer.append Klienthändelsen används för att lägga till ljudbyte till indataljudbufferten. Ljudbufferten är tillfällig lagring som du kan skriva till och senare checka in.

I läget Server VAD (Röstaktivitetsidentifiering) används ljudbufferten för att identifiera tal och servern bestämmer när den ska checkas in. När server VAD är inaktiverat kan klienten välja hur mycket ljud som ska spelas in i varje händelse upp till högst 15 MiB. Om du till exempel strömmar mindre segment från klienten kan VAD vara mer dynamiskt.

Till skillnad från de flesta andra klienthändelser skickar servern inte ett bekräftelsesvar på klienthändelsen input_audio_buffer.append .

Event structure

{
  "type": "input_audio_buffer.append",
  "audio": "<audio>"
}

Properties

input_audio_buffer.clear

Klienthändelsen input_audio_buffer.clear används för att rensa ljudbyte i bufferten.

Servern svarar med en input_audio_buffer.cleared händelse.

Event structure

{
  "type": "input_audio_buffer.clear"
}

Properties

input_audio_buffer.commit

Klienthändelsen input_audio_buffer.commit används för att checka in användarens indataljudbuffert, vilket skapar ett nytt användarmeddelandeobjekt i konversationen. Ljud transkriberas om input_audio_transcription det är konfigurerat för sessionen.

När klienten är i server-VAD-läge behöver den inte skicka den här händelsen. Servern checkar in ljudbufferten automatiskt. Utan server VAD måste klienten checka in ljudbufferten för att skapa ett användarmeddelandeobjekt. Den här klienthändelsen genererar ett fel om indataljudbufferten är tom.

När indataljudbufferten checkas in skapas inget svar från modellen.

Servern svarar med en input_audio_buffer.committed händelse.

Event structure

{
  "type": "input_audio_buffer.commit"
}

Properties

Server Events

Voice Live API skickar följande serverhändelser för att kommunicera status, svar och data till klienten:

session.created

Skickas när en ny session har etablerats framgångsrikt. Detta är den första händelsen som tas emot efter anslutning till API:et.

Event Structure

{
  "type": "session.created",
  "session": {
    "id": "sess_ABC123DEF456",
    "object": "realtime.session",
    "model": "gpt-realtime",
    "modalities": ["text", "audio"],
    "instructions": "You are a helpful assistant.",
    "voice": {
      "type": "openai",
      "name": "alloy"
    },
    "input_audio_format": "pcm16",
    "output_audio_format": "pcm16",
    "input_audio_sampling_rate": 24000,
    "turn_detection": {
      "type": "azure_semantic_vad",
      "threshold": 0.5,
      "prefix_padding_ms": 300,
      "silence_duration_ms": 500
    },
    "temperature": 0.8,
    "max_response_output_tokens": "inf"
  }
}

Properties

session.updated

Skickas när sessionskonfigurationen har uppdaterats framgångsrikt som svar på en session.update klienthändelse.

Event Structure

{
  "type": "session.updated",
  "session": {
    "id": "sess_ABC123DEF456",
    "voice": {
      "type": "azure-custom",
      "name": "my-voice",
      "endpoint_id": "12345678-1234-1234-1234-123456789012"
    },
    "temperature": 0.7,
    "avatar": {
      "character": "lisa",
      "customized": false
    }
  }
}

Properties

session.avatar.connecting

Indikerar att en avatar WebRTC-anslutning håller på att etableras. Denna händelse skickas som svar på en session.avatar.connect kundhändelse.

Event Structure

{
  "type": "session.avatar.connecting",
  "server_sdp": "<server_sdp>"
}

Properties

conversation.item.created

Skickas när en ny post läggs till i konversationen, antingen via en klienthändelse conversation.item.create eller automatiskt under svarsgenerering.

Event Structure

{
  "type": "conversation.item.created",
  "previous_item_id": "item_ABC123",
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_text",
        "text": "Hello, how are you?"
      }
    ]
  }
}

Properties

Exempel med ljudobjekt

{
  "type": "conversation.item.created",
  "item": {
    "id": "item_GHI789",
    "type": "message",
    "status": "completed",
    "role": "user",
    "content": [
      {
        "type": "input_audio",
        "audio": null,
        "transcript": "What's the weather like today?"
      }
    ]
  }
}

conversation.item.retrieved

Skickad som svar på ett conversation.item.retrieve kundevent, med den begärda konversationspunkten.

Event Structure

{
  "type": "conversation.item.retrieved",
  "item": {
    "id": "item_ABC123",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "audio",
        "audio": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA=",
        "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
      }
    ]
  }
}

Properties

conversation.item.truncated

Serverhändelsen conversation.item.truncated returneras när klienten trunkerar ett tidigare ljudmeddelandeobjekt för assistenten med en conversation.item.truncate händelse. Den här händelsen används för att synkronisera serverns förståelse av ljudet med klientens uppspelning.

Den här händelsen trunkerar ljudet och tar bort textavskriften på serversidan för att säkerställa att det inte finns någon text i kontexten som användaren inte känner till.

Event structure

{
  "type": "conversation.item.truncated",
  "item_id": "<item_id>",
  "content_index": 0,
  "audio_end_ms": 0
}

Properties

conversation.item.deleted

Skickat som svar på en conversation.item.delete kundhändelse, där det bekräftas att den angivna punkten har tagits bort från konversationen.

Event Structure

{
  "type": "conversation.item.deleted",
  "item_id": "item_ABC123"
}

Properties

response.created

Skickas när en ny responsgenerering börjar. Detta är den första händelsen i en responssekvens.

Event Structure

{
  "type": "response.created",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "in_progress",
    "status_details": null,
    "output": [],
    "usage": {
      "total_tokens": 0,
      "input_tokens": 0,
      "output_tokens": 0
    }
  }
}

Properties

response.done

Skickas när svarsgenereringen är klar. Denna händelse innehåller det slutliga svaret med alla utdata och användningsstatistik.

Event Structure

{
  "type": "response.done",
  "response": {
    "id": "resp_ABC123",
    "object": "realtime.response",
    "status": "completed",
    "status_details": null,
    "output": [
      {
        "id": "item_DEF456",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
          }
        ]
      }
    ],
    "usage": {
      "total_tokens": 87,
      "input_tokens": 52,
      "output_tokens": 35,
      "input_token_details": {
        "cached_tokens": 0,
        "text_tokens": 45,
        "audio_tokens": 7
      },
      "output_token_details": {
        "text_tokens": 15,
        "audio_tokens": 20
      }
    }
  }
}

Properties

response.output_item.added

Skickas när en ny utgångspunkt läggs till i svaret under genereringen.

Event Structure

{
  "type": "response.output_item.added",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "in_progress",
    "role": "assistant",
    "content": []
  }
}

Properties

response.output_item.done

Skickas när en utdata är klar.

Event Structure

{
  "type": "response.output_item.done",
  "response_id": "resp_ABC123",
  "output_index": 0,
  "item": {
    "id": "item_DEF456",
    "object": "realtime.item",
    "type": "message",
    "status": "completed",
    "role": "assistant",
    "content": [
      {
        "type": "text",
        "text": "Hello! I'm doing well, thank you for asking."
      }
    ]
  }
}

Properties

response.content_part.added

Serverhändelsen response.content_part.added returneras när en ny innehållsdel läggs till i ett assistentmeddelandeobjekt under genereringen av svar.

Event Structure

{
  "type": "response.content_part.added",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": ""
  }
}

Properties

response.content_part.done

Serverhändelsen response.content_part.done returneras när en innehållsdel har strömmats i ett assistentmeddelandeobjekt.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event Structure

{
  "type": "response.content_part.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "part": {
    "type": "text",
    "text": "Hello! I'm doing well, thank you for asking."
  }
}

Properties

response.text.delta

Strömmande textinnehåll från modellen. Skickas stegvis när modellen genererar text.

Event Structure

{
  "type": "response.text.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm"
}

Properties

response.text.done

Skickas när textinnehållsgenereringen är klar.

Event Structure

{
  "type": "response.text.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "text": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Properties

response.audio.delta

Strömmande ljudinnehåll från modellen. Ljudet tillhandahålls som base64-kodad data.

Event Structure

{
  "type": "response.audio.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "UklGRiQAAABXQVZFZm10IBAAAAABAAEARKwAAIhYAQACABAAZGF0YQAAAAA="
}

Properties

response.audio.done

Skickas när ljudinnehållsgenereringen är klar.

Event Structure

{
  "type": "response.audio.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

response.audio_transcript.delta

Strömmande transkription av det genererade ljudinnehållet.

Event Structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "delta": "Hello! I'm doing"
}

Properties

response.audio_transcript.done

Skickas när genereringen av ljudtranskriptionen är klar.

Event Structure

{
  "type": "response.audio_transcript.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "transcript": "Hello! I'm doing well, thank you for asking. How can I help you today?"
}

Properties

conversation.item.input_audio_transcription.completed

Serverhändelsen conversation.item.input_audio_transcription.completed är resultatet av ljudavskrift för tal som skrivits till ljudbufferten.

Transkriptionen börjar när indataljudbufferten bekräftas av klienten eller servern (i server_vad läge). Transkription körs asynkront med skapande av svar, så den här händelsen kan komma före eller efter svarshändelserna.

API-modeller i realtid accepterar ljud internt och därför är indataranskription en separat processkörning på en separat taligenkänningsmodell som whisper-1. Därför kan avskriften avvika något från modellens tolkning och bör behandlas som en grov guide.

Event structure

{
  "type": "conversation.item.input_audio_transcription.completed",
  "item_id": "<item_id>",
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

conversation.item.input_audio_transcription.delta

Serverhändelsen conversation.item.input_audio_transcription.delta returneras när inmatad ljudtranskribering konfigureras, och en transkriberingsförfrågan för ett användarmeddelande pågår. Detta evenemang ger delvisa transkriptionsresultat när de blir tillgängliga.

Event structure

{
  "type": "conversation.item.input_audio_transcription.delta",
  "item_id": "<item_id>",
  "content_index": 0,
  "delta": "<delta>"
}

Properties

conversation.item.input_audio_transcription.failed

Serverhändelsen conversation.item.input_audio_transcription.failed returneras när inkommande ljudavskrift har konfigurerats och en transkriptionsbegäran för ett användarmeddelande misslyckades. Den här händelsen är separat från andra error händelser så att klienten kan identifiera det relaterade objektet.

Event structure

{
  "type": "conversation.item.input_audio_transcription.failed",
  "item_id": "<item_id>",
  "content_index": 0,
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Error properties

response.animation_blendshapes.delta

Serverhändelsen response.animation_blendshapes.delta returneras när modellen genererar animations-blendshapes-data som en del av ett svar. Denna händelse tillhandahåller inkrementella blendshapes-data när den blir tillgänglig.

Event structure

{
  "type": "response.animation_blendshapes.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "frame_index": 0,
  "frames": [
    [0.0, 0.1, 0.2, ..., 1.0]
    ...
  ]
}

Properties

response.animation_blendshapes.done

Serverhändelsen response.animation_blendshapes.done returneras när modellen har avslutat genereringen av animations-blendshapes-data som en del av ett svar.

Event structure

{
  "type": "response.animation_blendshapes.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
}

Properties

response.audio_timestamp.delta

Serverhändelsen response.audio_timestamp.delta returneras när modellen genererar ljudtidsstämpeldata som en del av ett svar. Denna händelse tillhandahåller inkrementella tidsstämpeldata för utdata av ljud och text när det blir tillgängligt.

Event structure

{
  "type": "response.audio_timestamp.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "audio_duration_ms": 500,
  "text": "Hello",
  "timestamp_type": "word"
}

Properties

response.audio_timestamp.done

Skickas när genereringen av ljudets tidsstämplar är klar.

Event Structure

{
  "type": "response.audio_timestamp.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

response.animation_viseme.delta

Serverhändelsen response.animation_viseme.delta returneras när modellen genererar animationsvisemedata som en del av ett svar. Denna händelse tillhandahåller inkrementell visemedata när den blir tillgänglig.

Event Structure

{
  "type": "response.animation_viseme.delta",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0,
  "audio_offset_ms": 0,
  "viseme_id": 1
}

Properties

response.animation_viseme.done

Serverhändelsen response.animation_viseme.done returneras när modellen har genererat animationsvisemdata som en del av ett svar.

Event Structure

{
  "type": "response.animation_viseme.done",
  "response_id": "resp_ABC123",
  "item_id": "item_DEF456",
  "output_index": 0,
  "content_index": 0
}

Properties

error

Serverhändelsen error returneras när ett fel inträffar, vilket kan vara ett klientproblem eller ett serverproblem. De flesta fel kan återställas och sessionen förblir öppen.

Event structure

{
  "type": "error",
  "error": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>",
    "event_id": "<event_id>"
  }
}

Properties

Error properties

warning

Serverhändelsen warning returneras när en varning uppstår som inte avbryter konversationsflödet. Varningarna är informativa och sessionen fortsätter som vanligt.

Event structure

{
  "type": "warning",
  "warning": {
    "code": "<code>",
    "message": "<message>",
    "param": "<param>"
  }
}

Properties

Warning properties

input_audio_buffer.cleared

Serverhändelsen input_audio_buffer.cleared returneras när klienten rensar indataljudbufferten med en input_audio_buffer.clear händelse.

Event structure

{
  "type": "input_audio_buffer.cleared"
}

Properties

input_audio_buffer.committed

Serverhändelsen input_audio_buffer.committed returneras när en indataljudbuffert checkas in, antingen av klienten eller automatiskt i server VAD-läge. Egenskapen item_id är ID:t för användarmeddelandeobjektet som skapats. Därför skickas även en conversation.item.created händelse till klienten.

Event structure

{
  "type": "input_audio_buffer.committed",
  "previous_item_id": "<previous_item_id>",
  "item_id": "<item_id>"
}

Properties

input_audio_buffer.speech_started

Serverhändelsen input_audio_buffer.speech_started returneras i server_vad läge när tal identifieras i ljudbufferten. Den här händelsen kan inträffa när ljud läggs till i bufferten (såvida inte tal redan har identifierats).

Klienten bör förvänta sig att få en input_audio_buffer.speech_stopped händelse när talet stoppas. Egenskapen item_id är ID:t för användarmeddelandeobjektet som skapas när talet stoppas. item_id Ingår också i input_audio_buffer.speech_stopped händelsen om inte klienten manuellt checkar in ljudbufferten under VAD-aktiveringen.

Event structure

{
  "type": "input_audio_buffer.speech_started",
  "audio_start_ms": 0,
  "item_id": "<item_id>"
}

Properties

input_audio_buffer.speech_stopped

Serverhändelsen input_audio_buffer.speech_stopped returneras i server_vad läge när servern identifierar slutet av talet i ljudbufferten.

Servern skickar också en conversation.item.created händelse med användarmeddelandeobjektet som skapats från ljudbufferten.

Event structure

{
  "type": "input_audio_buffer.speech_stopped",
  "audio_end_ms": 0,
  "item_id": "<item_id>"
}

Properties

rate_limits.updated

Serverhändelsen rate_limits.updated genereras i början av ett svar för att ange de uppdaterade hastighetsgränserna.

När ett svar skapas reserveras vissa token för utdatatoken. De hastighetsgränser som visas här återspeglar den reservationen, som sedan justeras i enlighet med detta när svaret har slutförts.

Event structure

{
  "type": "rate_limits.updated",
  "rate_limits": [
    {
      "name": "<name>",
      "limit": 0,
      "remaining": 0,
      "reset_seconds": 0
    }
  ]
}

Properties

response.audio.delta

Serverhändelsen response.audio.delta returneras när det modellgenererade ljudet uppdateras.

Event structure

{
  "type": "response.audio.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.audio.done

Serverhändelsen response.audio.done returneras när det modellgenererade ljudet är klart.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event structure

{
  "type": "response.audio.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0
}

Properties

response.audio_transcript.delta

Serverhändelsen response.audio_transcript.delta returneras när den modellgenererade transkriptionen av ljudutdata uppdateras.

Event structure

{
  "type": "response.audio_transcript.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.audio_transcript.done

Serverhändelsen response.audio_transcript.done returneras när den modellgenererade transkriptionen av ljudutdata har strömmats.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event structure

{
  "type": "response.audio_transcript.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "transcript": "<transcript>"
}

Properties

response.function_call_arguments.delta

Serverhändelsen response.function_call_arguments.delta returneras när de modellgenererade funktionsanropsargumenten uppdateras.

Event structure

{
  "type": "response.function_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "delta": "<delta>"
}

Properties

response.function_call_arguments.done

Serverhändelsen response.function_call_arguments.done returneras när de modellgenererade funktionsanropsargumenten har strömmats.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event structure

{
  "type": "response.function_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "call_id": "<call_id>",
  "arguments": "<arguments>"
}

Properties

mcp_list_tools.in_progress

Serverhändelsen mcp_list_tools.in_progress returneras när tjänsten börjar lista tillgängliga verktyg från en mcp-server.

Event structure

{
  "type": "mcp_list_tools.in_progress",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

mcp_list_tools.completed

Serverhändelsen mcp_list_tools.completed returneras när tjänsten slutför listan över tillgängliga verktyg från en MCP-server.

Event structure

{
  "type": "mcp_list_tools.completed",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

mcp_list_tools.failed

Serverhändelsen mcp_list_tools.failed returneras när tjänsten misslyckas med att lista tillgängliga verktyg från en MCP-server.

Event structure

{
  "type": "mcp_list_tools.failed",
  "item_id": "<mcp_list_tools_item_id>"
}

Properties

response.mcp_call_arguments.delta

Serverhändelsen response.mcp_call_arguments.delta returneras när de modellgenererade mcp-verktygsanropsargumenten uppdateras.

Event structure

{
  "type": "response.mcp_call_arguments.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "delta": "<delta>"
}

Properties

response.mcp_call_arguments.done

Serverhändelsen response.mcp_call_arguments.done returneras när argumenten för det modellgenererade mcp-anropet är klara med strömningen.

Event structure

{
  "type": "response.mcp_call_arguments.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "arguments": "<arguments>"
}

Properties

response.mcp_call.in_progress

Serverhändelsen response.mcp_call.in_progress returneras när ett MCP-verktygsanrop börjar bearbetas.

Event structure

{
  "type": "response.mcp_call.in_progress",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.mcp_call.completed

Serverhändelsen response.mcp_call.completed returneras när ett MCP-verktygsanrop slutförs framgångsrikt.

Event structure

{
  "type": "response.mcp_call.completed",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.mcp_call.failed

Serverhändelsen response.mcp_call.failed returneras när ett MCP-verktygsanrop misslyckas.

Event structure

{
  "type": "response.mcp_call.failed",
  "item_id": "<item_id>",
  "output_index": 0
}

Properties

response.output_item.added

Serverhändelsen response.output_item.added returneras när ett nytt objekt skapas under svarsgenereringen.

Event structure

{
  "type": "response.output_item.added",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

response.output_item.done

Serverhändelsen response.output_item.done returneras när ett objekt har strömmats.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event structure

{
  "type": "response.output_item.done",
  "response_id": "<response_id>",
  "output_index": 0
}

Properties

response.text.delta

Serverhändelsen response.text.delta returneras när den modellgenererade texten uppdateras. Texten motsvarar text innehållsdelen i ett assistentmeddelandeobjekt.

Event structure

{
  "type": "response.text.delta",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "delta": "<delta>"
}

Properties

response.text.done

Serverhändelsen response.text.done returneras när den modellgenererade texten har strömmats. Texten motsvarar text innehållsdelen i ett assistentmeddelandeobjekt.

Den här händelsen returneras också när ett svar avbryts, är ofullständigt eller avbryts.

Event structure

{
  "type": "response.text.done",
  "response_id": "<response_id>",
  "item_id": "<item_id>",
  "output_index": 0,
  "content_index": 0,
  "text": "<text>"
}

Properties

Components

Audio Formats

RealtimeAudioFormat

Basljudformat som används för inmatningsljud.

Allowed Values:

• pcm16 - 16-bitars PCM-ljudformat
• g711_ulaw - G.711 μ-law ljudformat
• g711_alaw - G.711 A-law ljudformat

RealtimeOutputAudioFormat

Ljudformat används för utgående ljud med specifika samplingsfrekvenser.

Allowed Values:

• pcm16 - 16-bitars PCM-ljudformat med standardsamplingsfrekvens (24 kHz)
• pcm16_8000hz - 16-bitars PCM-ljudformat med 8 kHz samplingsfrekvens
• pcm16_16000hz - 16-bitars PCM-ljudformat med 16 kHz samplingsfrekvens
• g711_ulaw - G.711 μ-law (mu-law) ljudformat med 8 kHz samplingsfrekvens
• g711_alaw - G.711 A-law-ljudformat med 8 kHz samplingsfrekvens

RealtimeAudioInputTranscriptionSettings

Konfiguration för indata-ljudtranskription.

RealtimeInputAudioNoiseReductionSettings

Detta kan vara:

• Ett RealtimeOpenAINoiseReduction-objekt
• Ett RealtimeAzureDeepNoiseSuppression-objekt

RealtimeOpenAINoiseReduction

OpenAI brusreduceringskonfiguration med explicit typfält, endast tillgänglig för gpt-realtime och gpt-realtime-mini modeller.

RealtimeAzureDeepNoiseSuppression

Konfiguration för inmatningsljudbrusreducering.

RealtimeInputAudioEchoCancellationSettings

Eko-avstängningskonfiguration för serverbaserad ljudbearbetning.

Voice Configuration

RealtimeVoice

Union av alla stödda röstkonfigurationer.

Detta kan vara:

• Ett RealtimeOpenAIVoice-objekt
• Ett RealtimeAzureVoice-objekt

RealtimeOpenAIVoice

OpenAI röstkonfiguration med explicit typfält.

RealtimeAzureVoice

Base för Azure Voice-konfigurationer. Detta är en diskriminerad förening med olika typer:

RealtimeAzureStandardVoice

Azure standard voice configuration.

RealtimeAzureCustomVoice

Azure anpassad röstkonfiguration (föredras för anpassade röster).

Example:

{
  "type": "azure-custom",
  "name": "my-custom-voice",
  "endpoint_id": "12345678-1234-1234-1234-123456789012",
  "temperature": 0.7,
  "style": "cheerful",
  "locale": "en-US"
}

RealtimeAzurePersonalVoice

Azure personal voice configuration.

Turn Detection

RealtimeTurnDetection

Konfiguration för svängdetektion. Detta är en diskriminerad fackförening som stödjer flera typer av VAD.

RealtimeServerVAD

Bas-VAD-baserad turdetektion.

RealtimeOpenAISemanticVAD

OpenAI semantisk VAD-konfiguration som använder en modell för att avgöra när användaren har talat klart. Endast tillgänglig för gpt-realtime och gpt-realtime-mini modeller.

RealtimeAzureSemanticVAD

Azure semantisk VAD, som avgör när användaren börjar och talar med en semantisk talmodell, vilket ger mer robust detektion i bullriga miljöer.

RealtimeAzureSemanticVADMultilingual

Azure semantic VAD (standardvariant).

RealtimeEOUDetection

Azure End-of-Utterance (EOU) kunde indikera när slutanvändaren slutade tala samtidigt som naturliga pauser tilläts. Slut-av-yttrande-detektering kan avsevärt minska för tidiga slutsignaler utan att lägga till användaruppfattad latens.

Avatar Configuration

RealtimeAvatarConfig

Konfiguration för avatarstreaming och beteende.

RealtimeIceServer

ICE-serverkonfiguration för WebRTC-anslutningsförhandling.

RealtimeVideoParams

Videoströmningsparametrar för avatar.

RealtimeVideoCrop

Videobeskärning av rektangeldefinition.

RealtimeVideoResolution

Videoupplösningsspecifikation.

RealtimeAvatarScene

Konfiguration för avatarens zoomnivå, position, rotation och rörelseamplitud i videobilden.

Animation Configuration

RealtimeAnimation

Konfiguration för animationsutdata inklusive blendshapes och visem.

RealtimeAnimationOutputType

Typer av animationsdata att exportera.

Allowed Values:

• blendshapes - Data om ansiktsblandningar
• viseme_id - Viseme-identifieringsdata

Session Configuration

RealtimeRequestSession

Sessionskonfigurationsobjekt som används i session.update händelser.

RealtimeModality

Stödde sessionsutdatamodaliteter.

Allowed Values:

• text - Textutdata
• audio - Ljudutgång
• animation - Animationsutdata
• avatar - Avatar-videoutgång

RealtimeAudioTimestampType

Utdata tidsstämpeltyper stöds i ljudsvarsinnehåll.

Allowed Values:

• word - Tidsstämplar per ord i utgångsljudet

ReasoningEffort

Begränsar ansträngningen i resonemanget för resonemangsmodeller. Kontrollera modelldokumentationen för stödda värden för varje modell. Att minska resonemangsansträngningen kan leda till snabbare svar och färre tokens som används på resonemang i ett svar.

Allowed Values:

• none - Ingen resonemangsansträngning
• minimal - Minimal resonemanginsats
• low - Låg resonemangsansträngning – snabbare svar med mindre resonemang
• medium - Medeltung resonemangsinsats – balanserad mellan hastighet och resonemangsdjup
• high - Hög resonemangsinsats – mer grundligt resonemang, kan ta längre tid
• xhigh - Extra hög resonemangsinsats – maximal resonemangsdjup

Tool Configuration

Vi stödjer två typer av verktyg: funktionsanrop och MCP-verktyg som låter dig ansluta till en MCP-server.

RealtimeTool

Verktygsdefinition för funktionsanrop.

RealtimeToolChoice

Verktygsvalsstrategi.

Detta kan vara:

• "auto" - Låt modellen välja
• "none" - Använd inte verktyg
• "required" - Måste använda ett verktyg
• { "type": "function", "name": "function_name" } - Använd specifik funktion

MCPTool

MCP-verktygskonfiguration.

RealtimeConversationResponseItem

Detta är en uniontyp som kan vara en av följande:

RealtimeConversationUserMessageItem

Användarmeddelande.

RealtimeConversationAssistantMessageItem

Assistentmeddelande.

RealtimeConversationSystemMessageItem

Systemmeddelandeobjekt.

RealtimeConversationFunctionCallItem

Funktion anropsförfrågan.

RealtimeConversationFunctionCallOutputItem

Funktion anropssvar.

RealtimeConversationMCPListToolsItem

MCP-listverktygssvarspunkt.

RealtimeConversationMCPCallItem

MCP:s samtalssvarsobjekt.

RealtimeConversationMCPApprovalRequestItem

MCP-godkännandeförfrågan är punkt.

RealtimeItemStatus

Status för samtalsämnen.

Allowed Values:

• in_progress - För närvarande under bearbetning
• completed - Framgångsrikt genomförd
• incomplete - Ofullständig (avbruten eller misslyckad)

RealtimeContentPart

Innehållsdelen i ett meddelande.

RealtimeInputTextContentPart

Textinnehållsdelen.

RealtimeOutputTextContentPart

Textinnehållsdelen.

RealtimeInputAudioContentPart

Ljudinnehållsdelen.

RealtimeOutputAudioContentPart

Ljudinnehållsdelen.

Response Objects

RealtimeResponse

Responsobjekt som representerar ett modellinferenssvar.

RealtimeResponseStatus

Svarsstatusvärden.

Allowed Values:

• in_progress - Svar genereras
• completed - Svar slutfört framgångsrikt
• canceled - Svaret avbröts
• incomplete - Svar ofullständigt (avbrutet)
• failed - Svar misslyckades med fel

RealtimeUsage

Statistik för tokenanvändning.

TokenDetails

Detaljerad uppdelning av tokenanvändning.

Error Handling

RealtimeErrorDetails

Felinformationsobjekt.

RealtimeConversationRequestItem

Du använder RealtimeConversationRequestItem objektet för att skapa ett nytt objekt i konversationen via händelsen conversation.item.create .

Detta är en uniontyp som kan vara en av följande:

RealtimeSystemMessageItem

Ett systemmeddelande.

RealtimeUserMessageItem

Ett användarmeddelande.

RealtimeAssistantMessageItem

Ett meddelande från assistenten.

RealtimeFunctionCallItem

Ett funktionsanropsobjekt.

RealtimeFunctionCallOutputItem

En funktion anropar utdataobjekt.

RealtimeMCPApprovalResponseItem

Ett godkännandesvar från MCP.

RealtimeFunctionTool

Definitionen av ett funktionsverktyg som används av realtidsslutpunkten.

RealtimeItemStatus

Allowed Values:

• in_progress
• completed
• incomplete

RealtimeResponseAudioContentPart

RealtimeResponseFunctionCallItem

RealtimeResponseFunctionCallOutputItem

RealtimeResponseOptions

RealtimeResponseSession

Objektet RealtimeResponseSession representerar en session i REALTIDS-API:et. Den används i några av serverhändelserna, till exempel:

• session.created
• session.updated

RealtimeResponseStatusDetails

RealtimeRateLimitsItem

Related Resources

• Prova snabbstarten av Voice Live
• Prova Voice Live-agenternas snabbstart
• Läs mer om hur du använder Voice Live-API:et