De Speech MCP-server verbinden en gebruiken met een agent

Nadat u de mogelijkheden van de Azure Speech MCP-server hebt begrepen, is de volgende stap het verbinden met een agent en het gebruik ervan te starten. Dit omvat het instellen van opslag, het maken van een agent in Microsoft Foundry, het verbinden van het hulpprogramma Speech MCP, het testen ervan in de agentspeelplaats en optioneel het bouwen van een clienttoepassing.

Azure Blob Storage instellen

Voor de Azure Speech MCP-server is een Azure Storage-account vereist om audiobestanden op te slaan. U moet een opslagaccount en een blobcontainer maken voordat u het hulpprogramma verbindt.

1. Maak in Azure Portal een nieuw Azure Storage-account (of gebruik een bestaand account).
2. Vouw in het opslagaccount gegevensopslag uit en selecteer Containers.
3. Maak een nieuwe container (bijvoorbeeld benoemde bestanden) om de audiobestanden op te slaan die uw agent genereert en leest.
4. Genereer een SAS-token voor de container met de volgende machtigingen: Lezen, Toevoegen, Maken, Schrijven en Lijst. Stel de verlooptijd in op de kortste praktische duur.

Een Foundry-project en -agent maken

Als u de Azure Speech MCP-server wilt gebruiken, hebt u een Microsoft Foundry-project met een geïmplementeerd model nodig.

1. Maak in de Microsoft Foundry-portal een nieuw project (of gebruik een bestaand project).

2. Implementeer een model (zoals gpt-4.1) dat uw agent gebruikt voor het redeneren en genereren van antwoorden.

3. Maak een agent en geef deze instructies om het doel ervan te beschrijven. Voorbeeld:

   You are an AI agent that uses the Azure AI Speech tool to transcribe and generate speech.
   

De agent is nu klaar om hulpprogrammaverbindingen te ontvangen.

De Azure Speech MCP-server verbinden

U verbindt de Azure Speech MCP-server met uw agent via de pagina Extra in de Foundry-portal.

1. In het navigatiedeelvenster selecteer de pagina Extra.

2. Selecteer Verbinding maken met een hulpprogramma en kies Azure Speech in Foundry Tools in de catalogus.

3. Configureer de verbinding met de volgende instellingen:

   • Naam van foundry-resource: de naam van uw Foundry-resource (bijvoorbeeld myproject-resource).
   • Bearer (Ocp-Apim-Subscription-Key): De sleutel voor uw Foundry-project.
   • X-Blob-Container-Url: de SAS-URL voor uw blobcontainer.

4. Wacht tot de verbinding is gemaakt en selecteer Vervolgens Gebruiken in een agent en kies uw agent.

De agent heeft nu toegang tot de spraak-naar-tekst- en tekst-naar-spraak-hulpprogramma's die beschikbaar zijn gemaakt door de Azure Speech MCP-server.

Testen in de agentspeelplaats

De agentspeelplaats in de Foundry-portal biedt een interactieve omgeving voor het testen van uw agent.

Tekst-naar-spraak testen

Voer een prompt in waarmee de agent wordt gevraagd spraak te genereren:

Generate "To be or not to be, that is the question." as speech

De eerste keer dat de agent het hulpprogramma Speech MCP gebruikt, wordt u gevraagd het gebruik van het hulpprogramma goed te keuren . U kunt Altijd alle Azure Speech MCP Server-hulpprogramma's goedkeuren selecteren om toekomstige goedkeuringsmeldingen over te slaan.

Het antwoord bevat een koppeling naar het gegenereerde audiobestand dat is opgeslagen in uw blobcontainer. Selecteer de koppeling om naar de gesynthetiseerde spraak te luisteren.

Spraak-naar-tekst testen

Voer een prompt in waarmee de agent wordt gevraagd een audiobestand te transcriberen. U kunt een openbaar toegankelijke URL of een SAS-URL gebruiken die verwijst naar een bestand in uw blobcontainer:

Transcribe the file at https://example.com/audio/meeting-recording.wav

De agent roept het hulpprogramma spraak-naar-tekst aan en retourneert de getranscribeerde tekst.

Spraakuitvoer aanpassen

De hulpprogramma's voor Spraak MCP ondersteunen verschillende opties die u kunt opgeven in uw prompts:

• Spraakselectie: Geef een neurale stem op, zoals en-GB-SoniaNeural of en-US-JennyNeural.
• Taal: Geef de taal op voor herkenning of synthese (bijvoorbeeld es-ES voor Spaans).
• Hints voor woordgroepen: geef domeinspecifieke termen op om de nauwkeurigheid van transcripties te verbeteren (bijvoorbeeld 'Azure, OpenAI, Cognitive Services').
• Scheldwoordfiltering: aanvraag masked, removed, of raw scheldwoordafhandeling tijdens transcriptie.

Voorbeeld:

Synthesize "Better a witty fool, than a foolish wit!" as speech using the voice "en-GB-SoniaNeural".

Een clienttoepassing bouwen

Hoewel de agentspeelplaats handig is voor testen, wilt u doorgaans een clienttoepassing bouwen die de agent programmatisch gebruikt. De Microsoft Foundry SDK ondersteunt dit via de OpenAI-antwoorden-API.

Als u een clienttoepassing wilt bouwen, gebruikt u de azure-ai-projects en azure-identity pakketten. Het algemene patroon is:

1. Maak een AIProjectClient met behulp van het Foundry-projecteindpunt en DefaultAzureCredential (dat gebruikmaakt van uw Azure CLI-referenties tijdens de ontwikkeling).
2. Verkrijg een OpenAI-client van de projectclient door get_openai_client() aan te roepen.
3. Oproep responses.create() om een gebruikersprompt naar de agent te verzenden.

Het belangrijkste onderdeel is de manier waarop u naar de agent verwijst. U geeft deze op naam op in de extra_body parameter:

response = openai_client.responses.create(
    input=[{"role": "user", "content": user_prompt}],
    extra_body={
        "agent_reference": {
            "name": "Speech-Agent",
            "type": "agent_reference"
        }
    },
)

print(response.output_text)

De agent verwerkt de prompt, roept het juiste hulpprogramma Speech MCP aan en retourneert het resultaat.output_text Voor tekst-naar-spraak-aanvragen bevat de uitvoer een koppeling naar het gegenereerde audiobestand in uw blobcontainer.

De MCP-server verbinden met code

In plaats van verbinding te maken met de Azure Speech MCP-server via de Foundry-portal, kunt u de verbinding van het MCP-hulpprogramma rechtstreeks in code definiëren wanneer u een agent maakt. Gebruik de MCPTool klasse van de azure-ai-projects SDK:

from azure.ai.projects.models import MCPTool

mcp_tool = MCPTool(
    server_label="azure-speech",
    server_url="https://{foundry-resource-name}.cognitiveservices.azure.com/speech/mcp",
    require_approval="always",
)

Vervolgens geeft u de mcp_tool door bij het maken van de agent via de SDK. Deze methode is handig als u hulpprogrammaverbindingen wilt beheren als onderdeel van uw toepassingscode in plaats van ze handmatig te configureren in de portal.