¿Qué es la voz integrada?

El habla embebida está diseñada para escenarios de voz a texto y texto a voz en dispositivos en los que la conectividad en la nube es intermitente o no está disponible. Por ejemplo, puede usar voz integrada en equipos industriales, una unidad de aire acondicionado con reconocimiento de voz o un automóvil que pueda desplazarse fuera de cobertura. También puede desarrollar soluciones de nube híbrida y sin conexión. En escenarios en los que los dispositivos deben estar en un entorno seguro, como una entidad bancaria o gubernamental, primero debe considerar los contenedores desconectados.

Requisitos de la plataforma

La voz insertada se incluye con el SDK de Voz (versión 1.24.1 y posterior) para C#, C++y Java. Consulte los requisitos generales de instalación del SDK de Voz para obtener detalles específicos del lenguaje de programación y la plataforma de destino.

A continuación se muestran estimaciones generales del consumo de memoria con voz insertada. Los números finales dependen de la configuración de funcionalidades.

• Reconocimiento de voz o traducción: tamaño total de los archivos de un modelo + 200 MB.
• Síntesis de voz: 100-200 MB en función de la configuración regional.

Elección del entorno de destino

Limitaciones

• La voz insertada solo está disponible con los SDK de C#, C++y Java. Los otros SDK de voz, la CLI de voz y las API REST no admiten la voz insertada.
• El reconocimiento de voz incrustado solo admite formatos de audio WAV en mono y codificados con PCM de 16 bits, a 8 kHz o 16 kHz.
• Las voces neuronales incrustadas admiten RIFF/RAW de 16 o 24 kHz.

Paquetes de SDK de voz insertados

dependencies {
    implementation 'com.microsoft.cognitiveservices.speech:client-sdk-embedded:1.43.0@aar'
}

Modelos y voces

Para la voz integrada, debe descargar los modelos de reconocimiento de voz para voz a texto y voces para texto a voz. Se proporcionan instrucciones tras completar correctamente el proceso de revisión de acceso limitado .

Los siguientes modelos de voz en texto están disponibles: da-DK, de-DE, en-AU, en-CA, en-GB, en-IE, en-IN, en-NZ, en-US, es-ES, es-MX, fr-CAfr-FR, it-IT, ja-JP, ja-JP, ko-KR, pt-BR, pt-PT, zh-CN, zh-HKy zh-TW.

Todas las configuraciones regionales de texto a voz aquí (excepto fa-IR, persa (Irán)) están disponibles inmediatamente con 1 voz femenina seleccionada y/o 1 voz masculina seleccionada. Le damos la bienvenida a su entrada para ayudarnos a medir la demanda de más idiomas y voces.

Configuración de voz embebida

En el caso de las aplicaciones conectadas a la nube, como se muestra en la mayoría de los ejemplos del SDK de Voz, se usa el SpeechConfig objeto con una clave de API y un punto de conexión. Para voz embebida, no se utiliza un recurso de Foundry para el habla. En lugar de un recurso en la nube, se usan los modelos y voces que se descargan en el dispositivo local.

Use el EmbeddedSpeechConfig objeto para establecer la ubicación de los modelos o voces. Si la aplicación se usa para la conversión de voz en texto y texto en voz, puede usar el mismo EmbeddedSpeechConfig objeto para establecer la ubicación de los modelos y las voces.

// Provide the location of the models and voices.
List<string> paths = new List<string>();
paths.Add("C:\\dev\\embedded-speech\\stt-models");
paths.Add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.FromPaths(paths.ToArray());

// For speech to text
embeddedSpeechConfig.SetSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    Environment.GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
vector<string> paths;
paths.push_back("C:\\dev\\embedded-speech\\stt-models");
paths.push_back("C:\\dev\\embedded-speech\\tts-voices");
auto embeddedSpeechConfig = EmbeddedSpeechConfig::FromPaths(paths);

// For speech to text
embeddedSpeechConfig->SetSpeechRecognitionModel((
    "Microsoft Speech Recognizer en-US FP Model V8",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig->SetSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    GetEnvironmentVariable("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig->SetSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat::Riff24Khz16BitMonoPcm);

// Provide the location of the models and voices.
List<String> paths = new ArrayList<>();
paths.add("C:\\dev\\embedded-speech\\stt-models");
paths.add("C:\\dev\\embedded-speech\\tts-voices");
var embeddedSpeechConfig = EmbeddedSpeechConfig.fromPaths(paths);

// For speech to text
embeddedSpeechConfig.setSpeechRecognitionModel(
    "Microsoft Speech Recognizer en-US FP Model V8",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));

// For text to speech
embeddedSpeechConfig.setSpeechSynthesisVoice(
    "Microsoft Server Speech Text to Speech Voice (en-US, JennyNeural)",
    System.getenv("EMBEDDED_SPEECH_MODEL_LICENSE"));
embeddedSpeechConfig.setSpeechSynthesisOutputFormat(SpeechSynthesisOutputFormat.Riff24Khz16BitMonoPcm);

Ejemplos de código de voz insertados

Voz híbrida

La voz híbrida con el HybridSpeechConfig objeto usa de forma predeterminada el servicio de voz en la nube y la voz integrada como alternativa en caso de que la conectividad en la nube sea limitada o lenta.

Con la configuración de voz híbrida para voz en texto (modelos de reconocimiento), la voz insertada se usa cuando se produce un error en la conexión con el servicio en la nube después de intentos repetidos. El reconocimiento podría seguir usando el servicio en la nube de nuevo si la conexión se reanuda más adelante.

Con la configuración de voz híbrida para texto a voz (voces), la síntesis insertada y en la nube se ejecuta en paralelo y el resultado final se selecciona en función de la velocidad de respuesta. El mejor resultado se evalúa de nuevo en cada nueva solicitud de síntesis.

Voz en la nube

En el caso de la voz en la nube, use el objeto SpeechConfig, como se muestra en la guía de inicio rápido de voz a texto y la guía de inicio rápido de texto a voz. Para ejecutar las guías de inicio rápido para voz insertada, puede reemplazar SpeechConfig con EmbeddedSpeechConfig o HybridSpeechConfig. La mayoría del otro código de reconocimiento de voz y síntesis son los mismos, ya sea mediante la nube, la incrustación o la configuración híbrida.

Funcionalidades de voces incrustadas

En el caso de las voces insertadas, es esencial tener en cuenta que es posible que algunas etiquetas del lenguaje de marcado de síntesis de voz (SSML) no se admita actualmente debido a diferencias en la estructura del modelo. Para obtener información detallada sobre las etiquetas SSML no admitidas, consulte la tabla siguiente.

¹ El msttsexpress-as estilo solo se admite para la en-US-JennyNeural voz.

Contenido relacionado

• Obtenga información sobre el texto a voz en dispositivos para escenarios híbridos y desconectados.
• Acceso limitado a voz insertada