Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Estas preguntas frecuentes (FAQ) describen el efecto de la inteligencia artificial en las funciones de asistencia de análisis en Copilot Studio.
¿Cómo se usa la inteligencia artificial generativa para el análisis?
Copilot Studio usa IA para medir la calidad de las respuestas generativas y para crear clústeres. Estos clústeres proporcionan información sobre el rendimiento del agente.
Las respuestas generativas usan orígenes de conocimiento que elija para generar una respuesta. La característica también recopila los comentarios que proporcione. El análisis usa modelos de lenguaje grandes (LLM) para clasificar los mensajes de chat entre usuarios y agentes en niveles que indican la calidad de las respuestas generativas. Copilot Studio compila estos indicadores para proporcionarle un resumen del rendimiento general de un agente.
La agrupación en clústeres usa LLM para ordenar los mensajes de los usuarios en grupos en función de los temas compartidos y proporcionar a cada grupo un nombre descriptivo. Copilot Studio usa los nombres de estos clústeres para proporcionar diferentes tipos de información que puede usar para mejorar el agente.
Calidad de las respuestas para respuestas generativas
¿Cuál es la calidad de la respuesta para el uso previsto?
Use el análisis de calidad de respuesta para detectar información sobre el uso y el rendimiento del agente y, a continuación, cree acciones para mejorar el agente. Actualmente, puede usar análisis para comprender si la calidad de las respuestas generativas de un agente cumple sus expectativas.
Además de la calidad general, la calidad del análisis de respuesta identifica las áreas en las que un agente funciona mal o no puede realizar sus objetivos previstos. Puede definir áreas en las que las respuestas generativas funcionan mal y tomar medidas para mejorar su calidad.
Al identificar un rendimiento deficiente, siga los procedimientos recomendados que pueden ayudar a mejorar la calidad. Por ejemplo, después de identificar orígenes de conocimiento con un rendimiento deficiente, puede editar el origen de conocimiento o dividir el origen de conocimiento en varios orígenes más centrados para aumentar la calidad.
¿Qué datos se usan para crear análisis de calidad de respuesta?
La calidad del análisis de respuesta se calcula mediante una muestra de respuestas generativas . Requiere la consulta de usuario, la respuesta del agente y los orígenes de conocimiento pertinentes que usa el modelo generativo para la respuesta generativa.
La calidad del análisis de respuesta usa esa información para evaluar si la calidad de respuesta generativa es buena y, si no es así, por qué la calidad es deficiente. Por ejemplo, la calidad de la respuesta puede identificar respuestas incompletas, irrelevantes o no totalmente fundamentadas.
¿Cuáles son las limitaciones de calidad del análisis de respuesta y cómo pueden los usuarios minimizar el impacto de estas limitaciones?
La calidad del análisis de respuesta no usa todas las respuestas generativas. En su lugar, el análisis mide una muestra de sesiones del agente de usuario. Los agentes con menos del número mínimo de respuestas generativas exitosas no pueden recibir un resumen analítico de la calidad de la respuesta.
Hay casos en los que los análisis no evalúan una respuesta individual con precisión. En un nivel agregado, debe ser preciso para la mayoría de los casos.
La calidad de la analítica de respuesta no proporciona un desglose de las consultas específicas que llevaron a un rendimiento de baja calidad. Tampoco proporcionan un desglose de los temas u orígenes de conocimiento comunes que se usaron cuando se producen respuestas de baja calidad.
Los análisis no se calculan para respuestas que usan conocimientos generativos.
La completitud de las respuestas es una de las métricas utilizadas para evaluar la calidad de la respuesta. Esta métrica mide hasta qué punto la respuesta aborda completamente el contenido del documento recuperado.
Si el sistema no recupera un documento relevante con información adicional para la pregunta, no evalúa la métrica de completitud de ese documento.
¿Qué protecciones se aplican para la calidad del análisis de respuesta dentro de Copilot Studio para la inteligencia artificial responsable?
Los usuarios de agentes no ven los resultados de análisis; solo están disponibles para los creadores de agentes y administradores.
Los creadores y administradores solo pueden usar la calidad del análisis de respuesta para ver el porcentaje de respuestas de buena calidad y las razones predefinidas para un rendimiento deficiente. Los creadores solo pueden ver el porcentaje de respuestas de calidad y los motivos predefinidos.
Hemos probado el análisis de calidad de las respuestas exhaustivamente durante el desarrollo para garantizar un buen rendimiento. Sin embargo, en casos poco frecuentes, la calidad de las evaluaciones de respuesta puede ser inexacta.
Análisis de sentimiento para sesiones conversacionales
¿Cuál es el uso previsto del análisis de sentimiento?
Use el análisis de sentimiento para comprender el nivel de satisfacción del usuario en las sesiones de conversación en función de un análisis de IA de los mensajes de usuario al agente. Puede comprender la opinión general de la sesión (positiva, negativa o neutral), investigar las razones y tomar medidas para abordarla.
¿Qué datos se utilizan para definir el sentimiento en una sesión de conversación?
Copilot Studio calcula el análisis de sentimiento basado en los mensajes de usuario enviados al agente en un conjunto de sesiones conversacionales de ejemplo.
La analítica de sentimiento utiliza esa información para evaluar si la satisfacción del usuario durante la sesión es positiva, negativa o neutral. Por ejemplo, un usuario puede usar palabras y un tono de voz que indiquen frustración o insatisfacción según la interacción con el agente. En este caso, la sesión se clasifica como de sentimiento negativo.
¿Cuáles son las limitaciones del análisis de sentimiento y cómo pueden los usuarios mitigar estas limitaciones?
El análisis de opinión no se calcula usando todas las sesiones de conversación. En su lugar, el análisis mide una muestra de sesiones del agente de usuario. Los agentes que estén por debajo de un número mínimo de respuestas generativas exitosas diarias no recibirán una puntuación de sentimiento.
Actualmente, el análisis de sentimiento depende de respuestas generativas y requiere un número mínimo de respuestas exitosas diarias para calcular la puntuación de sentimiento del agente.
Para calcular el sentimiento de una sesión, debe haber al menos dos mensajes de usuario. Además, debido a las limitaciones técnicas actuales, no se realiza análisis de sentimiento en sesiones que superen un total de 26 mensajes (incluyendo mensajes tanto de usuario como de agente)
El análisis de sentimiento no proporciona un desglose de los mensajes específicos de los usuarios que llevaron a la puntuación de sentimiento.
¿Qué protecciones se aplican para el análisis de sentimiento dentro de Copilot Studio para la inteligencia artificial responsable?
Los usuarios de agentes no ven los resultados de análisis; solo están disponibles para los creadores de agentes y administradores.
Solo puede usar el análisis de opiniones para ver el desglose de opiniones en todas las sesiones.
Probamos el análisis de sentimiento a fondo durante el desarrollo para asegurar un buen rendimiento. Sin embargo, en casos poco frecuentes, las evaluaciones de sentimiento pueden ser inexactas.
Temas de preguntas de usuario
¿Cuál es el uso previsto de los Temas?
Esta característica analiza automáticamente grandes conjuntos de consultas de usuario y los agrupa en temas de alto nivel denominados temas. Cada tema representa un único asunto de alto nivel sobre el que los usuarios preguntan. Los temas proporcionan una vista no supervisada y controlada por datos del contenido del usuario. Esta vista ayuda a los equipos a comprender lo que más les importan los usuarios sin el paso manual de revisar miles de consultas.
¿Qué datos se usan para crear clústeres?
La característica Temas usa consultas de usuario que desencadenan respuestas generativas. El sistema de temas analiza todas las consultas de los últimos siete días para generar nuevos temas recomendados.
Los temas usan similitud semántica para agrupar consultas. A continuación, se usa un modelo de lenguaje para generar el título y la descripción de cada clúster. También se recopilan comentarios de los creadores (como Me gusta y No me gusta) para mejorar la calidad de la agrupación en clústeres.
¿Cuáles son las limitaciones de la agrupación en clústeres para temas y cómo pueden los usuarios mitigar estas limitaciones?
La agrupación en clústeres correcta en temas depende del volumen de consultas. Si no hay suficientes consultas o si las consultas no están relacionadas entre sí, Copilot Studio podrían agrupar consultas en temas demasiado amplios o demasiado estrechos.
Los temas pueden dividir ocasionalmente temas similares o combinar temas no relacionados.
El cambio del lenguaje en las consultas puede afectar a la coherencia de los clústeres a lo largo del tiempo.
Puede revisar los temas periódicamente y proporcionar comentarios para mejorar la calidad de los nombres.
¿Qué protecciones para temas se aplican en Copilot Studio en términos de inteligencia artificial responsable?
Los temas solo son visibles para los creadores y administradores. La moderación de contenido se aplica al generar nombres y descripciones para reducir el riesgo de salidas perjudiciales o inapropiadas.
Análisis de métricas personalizadas
¿Cuál es el uso previsto de métricas personalizadas?
Los creadores usan análisis de métricas personalizados para comprender cuánto afectan sus agentes conversacionales a los resultados empresariales. Estas métricas complementan el análisis de ahorros. Entre los ejemplos de métricas personalizadas se incluyen la tasa de resolución, la clasificación de intenciones del cliente y otros resultados específicos del dominio.
Las métricas personalizadas pueden mostrar dónde los agentes pierden los objetivos previstos. Los creadores pueden definir qué medir, probar las métricas con los datos de sesión reales y refinar las definiciones en función de los resultados.
¿Qué datos se usan para calcular métricas personalizadas?
Las métricas personalizadas se calculan mediante una muestra de sesiones pasadas de los agentes. El cálculo usa los mensajes conversacionales intercambiados durante una sesión.
El modelo de IA clasifica los datos de sesión en función de tu definición de métrica. El agente agrega resultados en la muestra para mostrar el rendimiento general de la métrica durante el período de tiempo seleccionado.
¿Cuáles son las limitaciones de las métricas personalizadas y cómo pueden los usuarios minimizar el impacto de las limitaciones?
Las métricas personalizadas no se calculan con todas las sesiones del agente. En su lugar, miden un ejemplo de sesiones del período de tiempo seleccionado. Dado que los resultados se basan en una muestra, deben tratarse como indicadores direccionales en lugar de cifras exactas.
Debe tener en cuenta que el cálculo de la métrica se basa en la transcripción de mensajes al interpretar las métricas. Evite extraer conclusiones sobre los comportamientos que se producen principalmente fuera de los mensajes, como temas y herramientas.
El modelo de IA podría clasificar erróneamente las sesiones. Los resultados agregados son generalmente precisos. Las sesiones que no coinciden con una categoría definida se colocan en la categoría de reserva (Otros). Si los resultados de las pruebas no coinciden con los resultados esperados, puede actualizar la descripción de métrica y las definiciones de categoría.
Si las instrucciones o la configuración de un agente cambian significativamente después de definir una métrica, es posible que la métrica ya no refleje con precisión el comportamiento actualizado del agente. Debe revisar sus métricas personalizadas después de realizar cambios sustantivos en el agente.
¿Qué protecciones se aplican para las métricas personalizadas dentro de Copilot Studio para la inteligencia artificial responsable?
Los resultados de las métricas personalizadas solo están disponibles para los creadores de agentes y administradores. Los usuarios del agente no tienen acceso a los resultados de análisis.
Revise y apruebe todas las métricas personalizadas antes de guardarlas. Durante la definición de métricas, pruebe las métricas con los datos de sesión de ejemplo y revise los resultados individuales y el razonamiento del modelo. Si los resultados no cumplen las expectativas, puede actualizar o descartar la métrica. Las métricas no se aplican sin la confirmación explícita.
La solicitud generada por IA que se usa para clasificar las sesiones es visible en la interfaz de usuario, por lo que puede comprender cómo interpreta el modelo la definición de métrica. Puede editar o quitar métricas personalizadas en cualquier momento.
En raras ocasiones, las clasificaciones de sesión individuales pueden ser inexactas. Los resultados deben interpretarse en agregado en lugar de en el nivel de sesión individual.