Verstehen der Einschränkungen und Messen der Auswirkungen

  • 10 Minuten

Auch wenn GitHub Copilot erhebliche Vorteile bietet, ist es entscheidend, seine Einschränkungen zu verstehen und seine Auswirkungen auf Entwicklungsprozesse genau zu messen. In dieser Lektion werden die Einschränkungen der KI-unterstützten Codierung untersucht und Methoden vorgestellt, um den Einfluss von GitHub Copilot auf die Produktivität zu quantifizieren.

Identifizieren der Einschränkungen von GitHub Copilot

Obwohl GitHub Copilot ein leistungsfähiges Tool ist, gelten Einschränkungen, die Entwickler beachten sollten:

Codequalität und Richtigkeit

  • Potenzielle Fehler: GitHub Copilot kann manchmal Code vorschlagen, der Fehler enthält oder die Anforderungen nicht vollständig erfüllt.
  • Sicherheitsaspekte: Der generierte Code entspricht möglicherweise nicht immer den bewährten Sicherheitsmethoden und erfordert eine sorgfältige Überprüfung.
  • Falschinterpretation des Kontexts: GitHub Copilot könnte den breiteren Kontext falsch verstehen, was zu unpassenden Vorschlägen führt.

Sprach- und Frameworkspezifität

  • Variierende Leistung: Die Effektivität von GitHub Copilot kann in verschiedenen Programmiersprachen und Frameworks variieren.
  • Nischentechnologien: Für weniger häufige oder neuere Technologien sind Vorschläge möglicherweise weniger genau oder relevant.

Abhängigkeit von Trainingsdaten

  • Verzerrung in Vorschlägen: Die Vorschläge von GitHub Copilot spiegeln Muster in den Trainingsdaten wider, die Verzerrungen oder veraltete Praktiken enthalten können.
  • Überlegungen zu Urheberrechten: Es gibt eine fortlaufende Debatte über Copyrightfragen im Zusammenhang mit Code, der aus trainierten Modellen generiert wurde.

Komplexe Problemlösung

  • Einschränkung bei komplexem Design: GitHub Copilot ist sehr gut geeignet für Aufgaben auf Codeebene, versteht aber komplexe Architekturentscheidungen möglicherweise nicht.
  • Kreativitätseinschränkungen: Auch wenn GitHub Copilot hilfreich ist, kann es nicht die menschliche Kreativität bei der Lösung neuartiger Probleme ersetzen.

Messen von Produktivitätsgewinnen

Das Verständnis der Produktivitätsgewinne durch GitHub Copilot ist unerlässlich, um die Vorteile optimal zu nutzen. Die REST-API für GitHub Copilot-Nutzungsmetriken und die GitHub Copilot-Entwicklerumfrage bieten eine leistungsstarke Möglichkeit, zu messen und zu analysieren, wie GitHub Copilot Ihren Entwicklungsworkflow beeinflusst. In diesem Abschnitt werden Methoden zum Auswerten der Auswirkungen von GitHub Copilot mithilfe dieser Tools und der entsprechenden Metriken vorgestellt.

Verwenden der REST-API-Endpunkte für GitHub Copilot-Nutzungsmetriken

GitHub bietet eine REST-API für den Zugriff auf GitHub Copilot-Nutzungsmetriken für Unternehmensmitglieder, Teams und Organisationsmitglieder. Diese Metriken bieten Einblicke in die tägliche Nutzung von GitHub Copilot, einschließlich Vervollständigungen, Chatinteraktionen und Benutzerinteraktion in verschiedenen Editoren und Sprachen.

Abrufen einer Zusammenfassung der GitHub Copilot-Nutzung für Unternehmensmitglieder

Endpunkt:GET /enterprises/{enterprise}/GitHub Copilot/usage

Dieser Endpunkt bietet eine tägliche Aufschlüsselung aggregierter Nutzungsmetriken für GitHub Copilot-Vervollständigungen und GitHub Copilot-Chats für alle Benutzer in einem Unternehmen. Sie enthalten Details zu Vorschlägen, angenommenen Vorschlägen und aktiven Benutzern, die nach Editor und Sprache weiter aufgeschlüsselt sind.

Beispielanforderung:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

Antwort:

  • Statuscode:200 OK
  • Text: JSON-Array mit täglichen Metriken, einschließlich Vorschlägen, Akzeptanzen, aktiven Benutzern und Aufschlüsselung nach Editor und Sprache.

Abrufen einer Zusammenfassung der GitHub Copilot-Nutzung für Unternehmensteams

Endpunkt:GET /enterprises/{enterprise}/team/{team_slug}/GitHub Copilot/usage

Dieser Endpunkt bietet eine tägliche Aufschlüsselung aggregierter Nutzungsmetriken für GitHub Copilot-Vervollständigungen und GitHub Copilot-Chats in einem bestimmten Team im Unternehmen.

Beispielanforderung:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

Antwort:

  • Statuscode:200 OK
  • Text: JSON-Array mit täglichen Metriken für das Team, einschließlich Vorschlägen, angenommenen Vorschlägen, aktiven Benutzern und Aufschlüsselung nach Editor und Sprache.

Abrufen einer Zusammenfassung der GitHub Copilot-Nutzung für Organisationsmitglieder

Endpunkt:GET /orgs/{org}/GitHub Copilot/usage

Dieser Endpunkt bietet eine tägliche Aufschlüsselung aggregierter Nutzungsmetriken für GitHub Copilot-Vervollständigungen und GitHub Copilot-Chats in einer Organisation.

Beispielanforderung:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

Antwort:

  • Statuscode:200 OK
  • Text: JSON-Array mit täglichen Metriken für die Organisation, einschließlich Vorschlägen, angenommenen Vorschlägen, aktiven Benutzern und Aufschlüsselung nach Editor und Sprache.

Implementieren eines Messframeworks

Um die Auswirkungen von GitHub Copilot systematisch zu bewerten, sollten Sie das folgende Framework in Betracht ziehen, indem Sie die API für die GitHub Copilot-Nutzungsmetrik in den einzelnen Phasen verwenden:

  1. Bewertung: Konzentrieren Sie sich in der ersten Phase der Einführung von GitHub Copilot auf führende Indikatoren wie Entwicklerzufriedenheit und Aufgabenabschlussraten. Verwenden Sie die API, um Metriken wie Durchschnitt der täglich aktiven Benutzer, Gesamtakzeptanzrate und akzeptierte Codezeilen zu erfassen.

  2. Einführung: Wenn GitHub Copilot weiter in den Workflow Ihres Teams integriert wird, überwachen Sie weiterhin Produktivitätsmetriken und Aktivierungsindikatoren. Die API kann Einblicke in die Benutzerbindung bieten und Bereiche identifizieren, in denen möglicherweise weitere Schulungen erforderlich sind.

  3. Optimierung: Nachdem GitHub Copilot vollständig eingeführt wurde, verwenden Sie die REST-API für GitHub Copilot-Nutzungsmetriken, um die Auswirkungen auf allgemeinere Organisationsziele zu optimieren, z. B. die Beschleunigung der Markteinführung oder die Verbesserung der Codequalität im gesamten Team.

  4. Nachhaltige Effizienz: Bewerten Sie die Effektivität von GitHub Copilot kontinuierlich, während sich Ihre Organisation weiterentwickelt. Die API ermöglicht die kontinuierliche Überwachung und Anpassung, um langfristige Produktivitätsgewinne sicherzustellen.

Verwenden der GitHub Copilot-Entwicklerumfrage

Die GitHub Copilot-Entwicklerumfrage ist ein wertvolles Tool zum Sammeln von Erkenntnissen aus Ihren Teams. Hiermit können Sie verstehen, wie GitHub Copilot verwendet wird, welche Vorteile das Tool bietet und welchen Herausforderungen die Entwickler gegenüberstehen. Diese Umfrage ist in zwei Formate unterteilt: eine Kurzfassung und eine ausführliche Version, die jeweils unterschiedlichen Zwecken in den GitHub Copilot-Evaluierungs- und Einführungsphasen dienen.

1. Umfragerhythmen und Zeitpunkt

Bei der Bereitstellung der GitHub Copilot-Entwicklerumfrage ist es wichtig, einen regelmäßigen Rhythmus zu etablieren, um Umfrageermüdung zu vermeiden und gleichzeitig aussagekräftige Daten zu sammeln.

  • Kurzumfrage: Diese kann alle zwei Wochen durchgeführt werden, wenn häufiges Feedback erforderlich ist, insbesondere, wenn sie mit anderen Feedbackkanälen wie Online- oder persönlichen Diskussionen gekoppelt wird.
  • Ausführliche Umfrage: Sollte nicht häufiger als einmal alle vier Wochen und insbesondere am Ende der Evaluierungs- und Einführungsphasen durchgeführt werden, um umfassendes Feedback zu erfassen.

2. Strukturierung der Umfrage

Die Umfragefragen sollten an die spezifischen Anforderungen Ihrer Organisation angepasst werden, um sicherzustellen, dass die gesammelten Daten relevant und umsetzbar sind. So sollten Sie die kurze und die lange Version strukturieren:

  • Kurzumfrage: Konzentriert sich auf sofortiges Feedback und erfasst die Gesamtzufriedenheit der Entwickler mit GitHub Copilot, spezifische aufgetretene Herausforderungen und ob das Tool Zeit gespart oder gekostet hat.

    • Beispielfragen:
      • „Was würden Sie denken, wenn Sie GitHub Copilot nicht mehr verwenden könnten?“
      • „Bei der Verwendung von GitHub Copilot habe ich mehr Spaß am Programmieren / schreibe ich Code mit höherer Qualität / führe ich Aufgaben schneller aus.“
      • „Welche Herausforderungen haben Sie bei der Verwendung von GitHub Copilot seit Ihrer letzten Umfrage festgestellt?“

  • Ausführliche Umfrage: Bietet eine tiefere Analyse der Auswirkungen von GitHub Copilot und erfasst detaillierte Daten zu Nutzung und Vorteilen sowie zu Auswirkungen auf die Teamdynamik.

    • Beispielfragen:
      • „Ich verwende GitHub Copilot, um Code in einer vertrauten Sprache zu schreiben / eine neue Sprache zu erkunden / sich wiederholenden Code zu schreiben.“
      • „Wenn ich GitHub Copilot verwende, gibt mein Team bessere Codebewertungen / wird der Code schneller in die Produktion eingeführt.“
      • „Welche Herausforderungen haben Sie bei der Verwendung von GitHub Copilot seit Ihrer letzten Umfrage festgestellt?“

3. Analysieren von Befragungsergebnissen

Sobald die Umfragen abgeschlossen sind, ist es wichtig, die Ergebnisse systematisch zu analysieren:

  • Datenschutzüberlegungen: Stellen Sie sicher, dass die Umfrageantworten anonymisiert werden und nicht zu einzelnen Entwicklern zurückverfolgt werden können und dass die Datenschutzverpflichtungen erfüllt werden.
  • Datennachverfolgung: Sammeln Sie die Umfrageantworten in vorhandenen Business Intelligence-Tools (BI) oder -Tabellen, um die Analyse zu vereinfachen. Verfolgen Sie die Ergebnisse im Zeitverlauf, um Trends zu identifizieren und fundierte Entscheidungen über die Implementierung von GitHub Copilot zu treffen.

4. Fortlaufende Verbesserung

Verwenden Sie die Erkenntnisse aus den Umfragen, um fundierte Entscheidungen über die Bereitstellung von GitHub Copilot in Ihrer Organisation zu treffen. Konzentrieren Sie sich auf die Bewältigung der identifizierten Herausforderungen, indem Sie die von Entwicklern gemeldeten Vorteile nutzen und die Verwendung des Tools anpassen, um die Produktivität zu maximieren.

Die GitHub Copilot-Entwicklerumfrage ist eine wichtige Komponente zum Verständnis und zur Verbesserung der Nutzung von GitHub Copilot in Ihren Teams.

Indem Sie die REST-API und die Umfrage für GitHub Copilot-Nutzungsmetriken nutzen, können Sie über anekdotische Belege hinausgehen und konkrete Einblicke gewinnen, wie GitHub Copilot Ihren Codierungsprozess beeinflusst. Dieser datengesteuerte Ansatz ermöglicht eine fundierte Entscheidungsfindung und kontinuierliche Verbesserung der Rolle von GitHub Copilot im Entwicklungsworkflow und hilft dabei, Bereiche zu identifizieren, in denen seine Verwendung für maximalen Nutzen optimiert werden kann.