Descripción de las limitaciones y el impacto en las medidas

  • 10 minutos

Aunque GitHub Copilot ofrece ventajas significativas, es fundamental comprender sus limitaciones y medir con precisión su impacto en los procesos de desarrollo. En esta unidad se exploran las restricciones de la codificación asistida por IA y se presentan los métodos para cuantificar la influencia de GitHub Copilot sobre la productividad.

Identificar limitaciones de GitHub Copilot

Aunque GitHub Copilot es una herramienta eficaz, tiene limitaciones que los desarrolladores deben tener en cuenta:

Calidad y corrección del código

  • Potencial de errores: GitHub Copilot a veces puede sugerir código que contenga errores o que no cumpla los requisitos.
  • Problemas de seguridad: Es posible que el código generado no siempre se ajuste a los procedimientos de seguridad recomendados, lo que requiere una revisión cuidadosa.
  • Interpretación incorrecta del contexto: GitHub Copilot podría mal comprender el contexto más amplio, lo que conduce a sugerencias inapropiadas.

Especificidad del lenguaje y del marco

  • Rendimiento variable: La eficacia de GitHub Copilot puede variar en diferentes lenguajes de programación y marcos de trabajo.
  • Tecnologías de nicho: Para tecnologías menos comunes o más recientes, las sugerencias pueden ser menos precisas o relevantes.

Dependencia de datos de entrenamiento

  • Sesgo en sugerencias: Las sugerencias de GitHub Copilot reflejan patrones en sus datos de entrenamiento, que pueden incluir sesgos o prácticas obsoletas.
  • Problemas de derechos de autor: Hay un debate continuo sobre las implicaciones de derechos de autor del código generado a partir de modelos entrenados.

Resolución de problemas complejos

  • Limitación en el diseño de alto nivel: GitHub Copilot destaca en tareas de nivel de código, pero puede que no comprenda decisiones arquitectónicas complejas.
  • Restricciones de creatividad: Aunque resulta útil, GitHub Copilot no puede reemplazar la creatividad humana en la resolución de problemas nuevos.

Medición de las mejoras de productividad

Comprender las mejoras de productividad proporcionadas por GitHub Copilot es esencial para maximizar sus ventajas. La API REST para las métricas de uso de GitHub Copilot y la encuesta para desarrolladores de GitHub Copilot ofrece una manera eficaz de medir y analizar cómo GitHub Copilot influye en el flujo de trabajo de desarrollo. En esta sección se presentan métodos para evaluar el impacto de GitHub Copilot mediante estas herramientas y métricas relacionadas.

Uso de los puntos de conexión de la API de REST para las métricas de uso de GitHub Copilot

GitHub proporciona una API de REST para acceder a las métricas de uso de GitHub Copilot para miembros empresariales, equipos y miembros de la organización. Estas métricas ofrecen información sobre el uso diario de GitHub Copilot, incluidas las finalizaciones, las interacciones de chat y la involucración del usuario en diferentes editores e idiomas.

Obtener un resumen del uso de GitHub Copilot para los miembros de la empresa

Punto final:GET /enterprises/{enterprise}/GitHub Copilot/usage

Este punto de conexión proporciona un desglose diario de las métricas de uso agregadas para finalizaciones de GitHub Copilot y el chat de GitHub Copilot en todos los usuarios de una empresa. Incluye detalles sobre sugerencias, aceptaciones y usuarios activos, desglosados aún más por el editor y el idioma.

Solicitud de ejemplo:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

Respuesta:

  • Código de estado:200 OK
  • Cuerpo: Matriz JSON con métricas diarias, incluidas sugerencias, aceptaciones, usuarios activos y desglose por editor e idioma.

Obtener un resumen del uso de GitHub Copilot para un equipo empresarial

Punto final:GET /enterprises/{enterprise}/team/{team_slug}/GitHub Copilot/usage

Este punto de conexión proporciona un desglose diario de las métricas de uso agregadas para finalizaciones de GitHub Copilot y el chat de GitHub Copilot en un equipo empresarial específico.

Solicitud de ejemplo:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

Respuesta:

  • Código de estado:200 OK
  • Cuerpo: Matriz JSON con métricas diarias para el equipo, incluidas sugerencias, aceptaciones, usuarios activos y desglose por editor e idioma.

Obtener un resumen del uso de GitHub Copilot para los miembros de la organización

Punto final:GET /orgs/{org}/GitHub Copilot/usage

Este punto de conexión proporciona un desglose diario de las métricas de uso agregadas para finalizaciones de GitHub Copilot y el chat de GitHub Copilot en toda una organización.

Solicitud de ejemplo:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

Respuesta:

  • Código de estado:200 OK
  • Cuerpo: Matriz JSON con métricas diarias para la organización, incluidas sugerencias, aceptaciones, usuarios activos y desglose por editor e idioma.

Implementar un marco de medición

Para evaluar sistemáticamente el impacto de GitHub Copilot, tenga en cuenta el siguiente marco, mediante la API de métricas de uso de GitHub Copilot en cada fase:

  1. Evaluación: Durante la fase inicial de adopción de GitHub Copilot, céntrese en indicadores líderes, como la satisfacción del desarrollador y las tasas de finalización de tareas. Use la API para recopilar métricas como el promedio de usuarios activos diarios, la tasa de aceptación total y las líneas de código aceptadas.

  2. Adopción: A medida que GitHub Copilot se integra más en el flujo de trabajo de su equipo, continúe supervisando las métricas de productividad y los indicadores de habilitación. La API puede proporcionar información sobre la involucración del usuario e identificar las áreas en las que se puede necesitar más entrenamiento.

  3. Optimización: Una vez que GitHub Copilot esté totalmente adoptado, use la API REST para las métricas de uso de GitHub Copilot para ajustar su impacto en objetivos organizativos más amplios, como reducir el tiempo de comercialización o mejorar la calidad del código en todo el equipo.

  4. Eficiencia sostenida: Evalúe continuamente la eficacia de GitHub Copilot a medida que su organización evoluciona. La API permite la supervisión y el ajuste continuos para garantizar mejoras de productividad a largo plazo.

Usar la encuesta para desarrolladores de GitHub Copilot

La Encuesta de desarrolladores de GitHub Copilot es una valiosa herramienta diseñada para recopilar información de los equipos, lo que le ayuda a comprender cómo se usa GitHub Copilot, sus ventajas y los desafíos a los que se enfrentan los desarrolladores. Esta encuesta se divide en dos formatos: formato corto y formato largo, cada uno de los cuales atiende diferentes propósitos a lo largo de las fases de evaluación y adopción de GitHub Copilot.

1. Cadencia y tiempo de la encuesta

Al implementar la Encuesta de desarrolladores de GitHub Copilot, es importante establecer una cadencia regular para evitar la fatiga de la encuesta mientras se recopilan datos significativos.

  • Encuesta de forma abreviada: se puede realizar cada dos semanas si se necesitan comentarios frecuentes, especialmente cuando se combina con otros canales de comentarios, como discusiones en línea o en persona.
  • Encuesta de larga duración: se recomienda que no se realice más de una vez cada cuatro semanas, especialmente al final de las fases de evaluación y adopción, para capturar comentarios completos.

2. Estructuración de la encuesta

Las preguntas de la encuesta deben adaptarse a las necesidades específicas de su organización, lo que garantiza que los datos recopilados sean pertinentes y útiles. Aquí se muestra cómo estructurar las encuestas de formato corto y largo:

  • Encuesta de forma corta: se centra en los comentarios inmediatos, capturando la satisfacción general de los desarrolladores con GitHub Copilot, desafíos específicos a los que se enfrentan y se ahorran o desperdician tiempo.

    • Preguntas de ejemplo:
      • "¿Cómo se sentiría si ya no pudiera usar GitHub Copilot?"
      • "Cuando uso GitHub Copilot, disfruto más codificando / escribo código de mejor calidad / completo las tareas más rápido".
      • "¿Qué desafíos ha encontrado en el uso de GitHub Copilot desde su última encuesta?"

  • Encuesta de larga forma: ofrece un análisis más profundo del impacto de GitHub Copilot, capturando información detallada sobre su uso y ventajas, y cómo afecta a la dinámica del equipo.

    • Preguntas de ejemplo:
      • "Uso GitHub Copilot para codificar en un lenguaje familiar / explorar un nuevo lenguaje / escribir código repetitivo".
      • "Al utilizar GitHub Copilot, mi equipo realiza mejores revisiones del código / combina el código en producción más rápidamente".
      • "¿Qué desafíos ha encontrado en el uso de GitHub Copilot desde su última encuesta?"

3. Análisis de los resultados de la encuesta

Una vez completadas las encuestas, es importante analizar los resultados sistemáticamente:

  • Consideraciones de privacidad: asegúrese de que las respuestas de la encuesta se anonimizan y no se pueden rastrear a desarrolladores individuales, cumpliendo las obligaciones de privacidad.
  • Seguimiento de datos: intercala las respuestas de la encuesta en las herramientas o hojas de cálculo de Business Intelligence (BI) existentes para facilitar el análisis. Con el tiempo, realice un seguimiento de los resultados para identificar tendencias y tomar decisiones informadas sobre la implementación de GitHub Copilot.

4. Mejora continua

Use la información recopilada de las encuestas para tomar decisiones fundamentadas sobre la implementación de GitHub Copilot en su organización. Céntrese en abordar los desafíos identificados, aprovechando las ventajas notificadas por los desarrolladores y ajustando el uso de la herramienta para maximizar la productividad.

La Encuesta de desarrolladores de GitHub Copilot es un componente fundamental para comprender y mejorar el uso de GitHub Copilot en los equipos.

Al aprovechar la API de REST y la encuesta para las métricas de uso de GitHub Copilot, puede ir más allá de la evidencia anecdotal y obtener información concreta sobre cómo GitHub Copilot influye en el proceso de codificación. Este enfoque controlado por datos permite la toma de decisiones fundamentada y la mejora continua en el rol de GitHub Copilot en el flujo de trabajo de desarrollo y ayuda a identificar las áreas en las que su uso se puede optimizar para obtener el máximo beneficio.