Início rápido: Conversão de voz para texto com o modelo Azure OpenAI Whisper

Pré-requisitos

• Uma subscrição Azure - Crie uma gratuitamente.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.
• Certifique-se de que lhe é atribuído pelo menos o papel Cognitive Services Contributor para o recurso Azure OpenAI.
• Um ficheiro áudio de exemplo. Pode obter áudio de exemplo, como wikipediaOcelot.wav, do Azure Speech no repositório do SDK Foundry Tools no GitHub.

Configuração

Recuperar chave e endpoint

Para fazer uma chamada com êxito para o Azure OpenAI, precisa de um endpoint e de uma chave.

Aceda ao seu recurso no portal Azure. O Endpoint e as Chaves podem ser encontrados na secção de Gestão de Recursos. Copie o endpoint e a chave de acesso pois precisará de ambos para autenticar as suas chamadas de API. Pode usar tanto KEY1 como KEY2. Ter sempre duas chaves permite alternar e regenerar chaves de forma segura sem causar interrupção no serviço.

Variáveis ambientais

Cria e atribui variáveis persistentes de ambiente para a tua chave e endpoint.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Criar um pedido e resposta da API REST

Num bash shell, executa o comando seguinte. Tens de substituir YourDeploymentName pelo nome de implementação que escolheste quando implementaste o modelo Whisper. O nome da implementação não é necessariamente o mesmo que o nome do modelo. Inserir o nome do modelo resulta num erro, a menos que escolha um nome de implementação idêntico ao nome do modelo subjacente.

curl $AZURE_OPENAI_ENDPOINT/openai/deployments/YourDeploymentName/audio/transcriptions?api-version=2024-02-01 \
 -H "api-key: $AZURE_OPENAI_API_KEY" \
 -H "Content-Type: multipart/form-data" \
 -F file="@./wikipediaOcelot.wav"

A primeira linha do comando anterior, com um exemplo de endpoint, apareceria da seguinte forma:

curl https://aoai-docs.openai.azure.com/openai/deployments/{YourDeploymentName}/audio/transcriptions?api-version=2024-02-01 \

Verificar a saída

A resposta contém um text campo com a transcrição completa do seu ficheiro áudio. Deverias ver resultados semelhantes ao exemplo abaixo. Se encontrar erros:

• Verifique se o nome do seu destacamento corresponde exatamente
• Verifica se o caminho do teu ficheiro de áudio está correto
• Garante que a tua chave API e endpoint são válidos

Produção

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

• Uma subscrição do Azure. Podes criar um gratuitamente.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.
• Python 3,8 ou posterior
• O CLI do Azure.
• Um ficheiro áudio de exemplo. Pode obter áudio de exemplo, como wikipediaOcelot.wav, do Azure Speech no repositório do SDK Foundry Tools no GitHub.

Configuração

Recuperar chave e endpoint

Para fazer uma chamada com êxito para o Azure OpenAI, precisa de um endpoint e de uma chave.

Aceda ao seu recurso no portal Azure. O Endpoint e as Chaves podem ser encontrados na secção de Gestão de Recursos. Copie o seu endpoint e a chave de acesso, pois vai precisar de ambos para autenticar as suas chamadas API. Pode usar tanto KEY1 como KEY2. Ter sempre duas chaves permite alternar e regenerar chaves de forma segura sem causar interrupção no serviço.

Variáveis ambientais

Cria e atribui variáveis persistentes de ambiente para a tua chave e endpoint.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE"

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Criar um ambiente Python

Crie um novo diretório para o seu projeto e navegue até ele a partir de um terminal ou do prompt de comandos.

mkdir whisper-quickstart; cd whisper-quickstart

Crie e ative um ambiente virtual para este projeto.

python -m venv .venv
.venv\Scripts\activate

python3 -m venv .venv
source .venv/bin/activate

Instale a biblioteca cliente OpenAI Python com:

pip install openai

pip install openai==0.28.1

Criar a aplicação Python

1. Crie um novo ficheiro Python chamado quickstart.py. Depois abre-o no teu editor ou IDE preferido.

2. Substitua o conteúdo da quickstart.py pelo seguinte código. Modifique o código para adicionar o nome da sua implementação:

    import os
    from openai import AzureOpenAI
        
    client = AzureOpenAI(
        api_key=os.getenv("AZURE_OPENAI_API_KEY"),  
        api_version="2024-02-01",
        azure_endpoint = os.getenv("AZURE_OPENAI_ENDPOINT")
    )
    
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = client.audio.transcriptions.create(
        file=open(audio_test_file, "rb"),            
        model=deployment_id
    )
    
    print(result)

    import openai
    import time
    import os
    
    openai.api_key = os.getenv("AZURE_OPENAI_API_KEY")
    openai.api_base = os.getenv("AZURE_OPENAI_ENDPOINT")  # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    openai.api_type = "azure"
    openai.api_version = "2024-02-01"
    
    model_name = "whisper"
    deployment_id = "YOUR-DEPLOYMENT-NAME-HERE" #This will correspond to the custom name you chose for your deployment when you deployed a model."
    audio_language="en"
    
    audio_test_file = "./wikipediaOcelot.wav"
    
    result = openai.Audio.transcribe(
                file=open(audio_test_file, "rb"),            
                model=model_name,
                deployment_id=deployment_id
            )
    
    print(result)

Executa a aplicação usando o python comando no teu ficheiro de início rápido:

python quickstart.py

Verificar a saída

A resposta contém um text campo com a transcrição completa do seu ficheiro áudio. Deverias ver resultados semelhantes ao exemplo abaixo. Se encontrar erros:

• Verifique se o nome do seu destacamento corresponde exatamente
• Verifica se o caminho do teu ficheiro de áudio está correto
• Garante que a tua chave API e endpoint são válidos

Produção

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

• Uma subscrição do Azure. Podes criar um gratuitamente.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.
• The .NET 8.0 SDK

Pré-requisitos do Microsoft Entra ID

Para a autenticação sem chave recomendada com o Microsoft Entra ID, precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribui a Cognitive Services User função à tua conta de utilizador. Pode atribuir funções no portal Azure em Controlo de Acesso (IAM)>Adicionar atribuição de funções.

Configuração

1. Crie uma nova pasta whisper-quickstart e vá à pasta de início rápido com o seguinte comando:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Crie uma nova aplicação de consola com o seguinte comando:

   dotnet new console
   

3. Instale a biblioteca cliente OpenAI.NET com o comando dotnet add package:

   dotnet add package Azure.AI.OpenAI
   

4. Para a autenticação sem chave recomendada com Microsoft Entra ID, instale o pacote Azure.Identity com:

   dotnet add package Azure.Identity
   

5. Para a autenticação sem chave recomendada com Microsoft Entra ID, inicie sessão em Azure com o seguinte comando:

   az login
   

Recuperar informação de recursos

Precisa de obter a seguinte informação para autenticar a sua aplicação com o seu recurso Azure OpenAI:

Execute o início rápido

O código de exemplo neste quickstart utiliza o Microsoft Entra ID para a autenticação sem chave recomendada. Se preferir usar uma chave API, pode substituir o DefaultAzureCredential objeto por um AzureKeyCredential objeto.

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 

AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));

Para executar o quickstart, siga estes passos:

1. Substitua o conteúdo de Program.cs pelo seguinte código e atualize os valores provisórios pelos seus próprios.

   using Azure;
   using Azure.AI.OpenAI;
   using Azure.Identity; // Required for Passwordless auth
   
   
   string deploymentName = "whisper";
   
   string endpoint = Environment.GetEnvironmentVariable("AZURE_OPENAI_ENDPOINT") ?? "https://<your-resource-name>.openai.azure.com/";
   string key = Environment.GetEnvironmentVariable("AZURE_OPENAI_API_KEY") ?? "<your-key>";
   
   // Use the recommended keyless credential instead of the AzureKeyCredential credential.
   AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new DefaultAzureCredential()); 
   //AzureOpenAIClient openAIClient = new AzureOpenAIClient(new Uri(endpoint), new AzureKeyCredential(key));
   
   var audioFilePath = "<audio file path>"
   
   var audioClient = openAIClient.GetAudioClient(deploymentName);
   
   var result = await audioClient.TranscribeAudioAsync(audioFilePath);
   
   Console.WriteLine("Transcribed text:");
   foreach (var item in result.Value.Text)
   {
       Console.Write(item);
   }
   

2. Execute a aplicação usando o comando dotnet run ou o botão run no topo de Visual Studio:

   dotnet run
   

Verificar a saída

A transcrição devolve uma resposta com a propriedade Text contendo a transcrição completa do seu ficheiro de áudio. Deverias ver resultados semelhantes ao exemplo abaixo. Se encontrar erros:

• Verifique se o nome do seu destacamento corresponde exatamente
• Verifica se o caminho do teu ficheiro de áudio está correto
• Garante que a tua chave API e endpoint são válidos

Produção

Se estiveres a usar o ficheiro de áudio de exemplo, deves ver o seguinte texto impresso na consola:

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, 
Mexico, and Central and South America. This medium-sized cat is characterized by solid 
black spots and streaks on its coat, round ears...

Código-fonte | Package (npm) | Samples

Pré-requisitos

• Uma subscrição Azure - Crie uma gratuitamente
• Versões LTS de Node.js
• CLI do Azure usado para autenticação sem palavra-passe num ambiente de desenvolvimento local, cria o contexto necessário iniciando sessão com o CLI do Azure.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.

Pré-requisitos do Microsoft Entra ID

Para a autenticação sem chave recomendada com o Microsoft Entra ID, precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribui a Cognitive Services User função à tua conta de utilizador. Pode atribuir funções no portal Azure em Controlo de Acesso (IAM)>Adicionar atribuição de funções.

Configuração

1. Crie uma nova pasta synthesis-quickstart e vá à pasta de início rápido com o seguinte comando:

   mkdir synthesis-quickstart && cd synthesis-quickstart
   

2. Crie o package.json com o seguinte comando:

   npm init -y
   

3. Instale a biblioteca cliente OpenAI para JavaScript com:

   npm install openai
   

4. Para a autenticação sem palavra-passe recomendada :

   npm install @azure/identity
   

Recuperar informação de recursos

Precisa de obter a seguinte informação para autenticar a sua aplicação com o seu recurso Azure OpenAI:

Crie uma aplicação de exemplo

Pode obter ficheiros de áudio de exemplo, como wikipediaOcelot.wav, do repositório Azure Speech no Foundry Tools SDK em GitHub.

Produção

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Código-fonte | Package (npm) | Samples

Pré-requisitos

• Uma subscrição Azure - Crie uma gratuitamente
• Versões LTS de Node.js
• TypeScript
• CLI do Azure usado para autenticação sem palavra-passe num ambiente de desenvolvimento local, cria o contexto necessário iniciando sessão com o CLI do Azure.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.

Pré-requisitos do Microsoft Entra ID

Para a autenticação sem chave recomendada com o Microsoft Entra ID, precisa:

• Instale o CLI do Azure usado para autenticação sem chave com Microsoft Entra ID.
• Atribui a Cognitive Services User função à tua conta de utilizador. Pode atribuir funções no portal Azure em Controlo de Acesso (IAM)>Adicionar atribuição de funções.

Configuração

1. Crie uma nova pasta whisper-quickstart e vá à pasta de início rápido com o seguinte comando:

   mkdir whisper-quickstart && cd whisper-quickstart
   

2. Crie o package.json com o seguinte comando:

   npm init -y
   

3. Atualize o package.json para ECMAScript com o seguinte comando:

   npm pkg set type=module
   

4. Instale a biblioteca cliente OpenAI para JavaScript com:

   npm install openai
   

5. Para a autenticação sem palavra-passe recomendada :

   npm install @azure/identity
   

Recuperar informação de recursos

Precisa de obter a seguinte informação para autenticar a sua aplicação com o seu recurso Azure OpenAI:

Crie uma aplicação de exemplo

Pode obter ficheiros de áudio de exemplo, como wikipediaOcelot.wav, do repositório Azure Speech no Foundry Tools SDK em GitHub.

Produção

{"text":"The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs."}

Pré-requisitos

• Uma subscrição Azure - Crie uma gratuitamente
• Podes usar a versão mais recente, PowerShell 7, ou Windows PowerShell 5.1.
• Um recurso Azure OpenAI com um modelo de voz para texto implementado numa região suportada. Para mais informações, consulte Crie um recurso e implemente um modelo com Azure OpenAI.

Configuração

Recuperar chave e endpoint

Para fazer uma chamada com êxito para o Azure OpenAI, precisa de um endpoint e de uma chave.

Aceda ao seu recurso no portal Azure. O Endpoint e as Chaves podem ser encontrados na secção de Gestão de Recursos. Copie o seu endpoint e a chave de acesso, pois vai precisar de ambos para autenticar as suas chamadas API. Pode usar tanto KEY1 como KEY2. Ter sempre duas chaves permite alternar e regenerar chaves de forma segura sem causar interrupção no serviço.

Variáveis ambientais

Cria e atribui variáveis persistentes de ambiente para a tua chave e endpoint.

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 

setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

echo export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE" >> /etc/environment && source /etc/environment

echo export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE" >> /etc/environment && source /etc/environment

Criar uma aplicação PowerShell

Executa o seguinte comando. Tens de substituir YourDeploymentName pelo nome de implementação que escolheste quando implementaste o modelo Whisper. O nome da implementação não é necessariamente o mesmo que o nome do modelo. Inserir o nome do modelo resulta num erro, a menos que escolha um nome de implementação idêntico ao nome do modelo subjacente.

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YourDeploymentName' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

# Header for authentication
$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$form = @{ file = get-item -path './wikipediaOcelot.wav' }

# Send a completion call to generate an answer
$url = "$($openai.api_base)/openai/deployments/$($openai.name)/audio/transcriptions?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Form $form -Method Post -ContentType 'multipart/form-data'
return $response.text

Pode obter ficheiros de áudio de exemplo, como wikipediaOcelot.wav, do repositório Azure Speech no Foundry Tools SDK em GitHub.

Produção

The ocelot, Lepardus paradalis, is a small wild cat native to the southwestern United States, Mexico, and Central and South America. This medium-sized cat is characterized by solid black spots and streaks on its coat, round ears, and white neck and undersides. It weighs between 8 and 15.5 kilograms, 18 and 34 pounds, and reaches 40 to 50 centimeters 16 to 20 inches at the shoulders. It was first described by Carl Linnaeus in 1758. Two subspecies are recognized, L. p. paradalis and L. p. mitis. Typically active during twilight and at night, the ocelot tends to be solitary and territorial. It is efficient at climbing, leaping, and swimming. It preys on small terrestrial mammals such as armadillo, opossum, and lagomorphs.