Comprendere le limitazioni e misurare l'impatto

  • 10 minuti

Anche se GitHub Copilot offre vantaggi significativi, è fondamentale comprendere le limitazioni e misurare accuratamente l'impatto sui processi di sviluppo. Questa unità esplora i vincoli della codifica assistita dall'intelligenza artificiale e introduce metodi per quantificare l'influenza di GitHub Copilot sulla produttività.

Identificare le limitazioni di GitHub Copilot

Anche se GitHub Copilot è uno strumento potente, presenta limitazioni che gli sviluppatori devono tenere presenti:

Qualità e correttezza del codice

  • Potenziali errori: GitHub Copilot può talvolta suggerire codice che contiene bug o non soddisfa completamente i requisiti.
  • Problemi di sicurezza: Il codice generato potrebbe non sempre rispettare le procedure di sicurezza consigliate, richiedendo un'attenta revisione.
  • Interpretazione errata del contesto: GitHub Copilot potrebbe fraintendere il contesto più ampio, causando suggerimenti inappropriati.

Specificità del linguaggio e del framework

  • Prestazioni variabili: L'efficacia di GitHub Copilot può variare in diversi linguaggi di programmazione e framework.
  • Tecnologie di nicchia: Per tecnologie meno comuni o più recenti, i suggerimenti possono essere meno accurati o pertinenti.

Dipendenza dai dati di training

  • Distorsione nei suggerimenti: I suggerimenti di GitHub Copilot riflettono i modelli nei dati di training, che possono includere distorsioni o procedure obsolete.
  • Problemi relativi al copyright: È in corso un dibattito sulle implicazioni sul copyright del codice generato dai modelli sottoposti a training.

Risoluzione dei problemi complessi

  • Limitazione nella progettazione generale: GitHub Copilot eccelle nelle attività a livello di codice, ma potrebbe non comprendere decisioni di architettura complesse.
  • Vincoli di creatività: Sebbene sia utile, GitHub Copilot non può sostituire la creatività umana nella risoluzione di nuovi problemi.

Misurare i miglioramenti in termini di produttività

Comprendere i miglioramenti in termini di produttività offerti da GitHub Copilot è essenziale per massimizzarne i vantaggi. L'API REST per GitHub Copilot usage metrics (Metriche di utilizzo di GitHub Copilot) e GitHub Copilot Developer Survey offre un modo efficace per misurare e analizzare il modo in cui GitHub Copilot influenza il flusso di lavoro di sviluppo. Questa sezione presenta i metodi per valutare l'impatto di GitHub Copilot usando questi strumenti e le relative metriche.

Usare gli endpoint dell'API REST per le metriche di utilizzo di GitHub Copilot

GitHub offre un'API REST per accedere alle metriche di utilizzo di GitHub Copilot per membri enterprise, team e membri dell'organizzazione. Queste metriche offrono informazioni dettagliate sull'utilizzo giornaliero di GitHub Copilot, inclusi completamenti, interazioni di chat ed engagement degli utenti nei diversi editor e linguaggi.

Ottenere un riepilogo dell'utilizzo di GitHub Copilot per i membri enterprise

Endpoint:GET /enterprises/{enterprise}/GitHub Copilot/usage

Questo endpoint fornisce un dettaglio giornaliero delle metriche di utilizzo aggregate per i completamenti di GitHub Copilot e GitHub Copilot Chat per tutti gli utenti di un'azienda. Include informazioni dettagliate su suggerimenti, accettazioni e utenti attivi, suddivisi ulteriormente in base all'editor e al linguaggio.

Richiesta di esempio:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/GitHub Copilot/usage

Risposta:

  • Codice di stato:200 OK
  • Corpo: Matrice JSON con metriche giornaliere, inclusi suggerimenti, accettazione, utenti attivi e suddivisione in base all'editor e al linguaggio.

Ottenere un riepilogo dell'utilizzo di GitHub Copilot per un team enterprise

Endpoint:GET /enterprises/{enterprise}/team/{team_slug}/GitHub Copilot/usage

Questo endpoint fornisce un dettaglio giornaliero delle metriche di utilizzo aggregate per i completamenti di GitHub Copilot e GitHub Copilot Chat all'interno di uno specifico team aziendale.

Richiesta di esempio:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/enterprises/ENTERPRISE/team/TEAM_SLUG/GitHub Copilot/usage

Risposta:

  • Codice di stato:200 OK
  • Corpo: Matrice JSON con metriche giornaliere per il team, inclusi suggerimenti, accettazione, utenti attivi e suddivisione in base all'editor e al linguaggio.

Ottenere un riepilogo dell'utilizzo di GitHub Copilot per i membri dell'organizzazione

Endpoint:GET /orgs/{org}/GitHub Copilot/usage

Questo endpoint fornisce un dettaglio giornaliero delle metriche di utilizzo aggregate per i completamenti di GitHub Copilot e GitHub Copilot Chat per un'organizzazione.

Richiesta di esempio:

curl -L \
  -H "Accept: application/vnd.github+json" \
  -H "Authorization: Bearer <YOUR-TOKEN>" \
  https://api.github.com/orgs/ORG/GitHub Copilot/usage

Risposta:

  • Codice di stato:200 OK
  • Corpo: Matrice JSON con metriche giornaliere per l'organizzazione, inclusi suggerimenti, accettazione, utenti attivi e suddivisione in base all'editor e al linguaggio.

Implementazione di un framework di misurazione

Per valutare sistematicamente l'impatto di GitHub Copilot, prendere in considerazione il framework seguente, usando l'API delle metriche di utilizzo di GitHub Copilot in ogni fase:

  1. Valutazione: Durante la fase iniziale dell'adozione di GitHub Copilot, concentrarsi sugli indicatori principali, ad esempio la soddisfazione degli sviluppatori e i tassi di completamento delle attività. Usare l'API per raccogliere metriche come Utenti giornalieri attivi medi, Percentuale di accettazione totale e Righe di codice accettate.

  2. Adozione: Man mano che GitHub Copilot diventa più integrato nel flusso di lavoro del team, continua a monitorare le metriche di produttività e gli indicatori di abilitazione. L'API può fornire informazioni dettagliate sull'engagement degli utenti e identificare le aree in cui potrebbe essere necessario un ulteriore training.

  3. Ottimizzazione: Dopo l'adozione completa di GitHub Copilot, usare le metriche di utilizzo dell'API REST per GitHub Copilot per ottimizzare l'impatto sugli obiettivi aziendali più ampi, ad esempio riducendo la qualità del codice sul mercato o migliorando la qualità del codice nel team.

  4. Efficienza sostenuta: Valutare continuamente l'efficacia di GitHub Copilot man mano che l'organizzazione si evolve. L'API consente il monitoraggio e la regolazione continui per garantire miglioramenti della produttività a lungo termine.

Usare il sondaggio per sviluppatori di GitHub Copilot

Il sondaggio per sviluppatori di GitHub Copilot è uno strumento prezioso progettato per raccogliere informazioni dettagliate dai team, aiutando l'utente a capire come viene usato GitHub Copilot, i suoi vantaggi e le eventuali sfide che gli sviluppatori affrontano. Questo sondaggio è suddiviso in due formati: short-form e long-form, ognuno dei quali serve per scopi diversi in tutte le fasi di valutazione e adozione di GitHub Copilot.

1. Frequenza e tempistica dell'indagine

Quando si distribuisce il sondaggio per sviluppatori di GitHub Copilot, è importante stabilire una cadenza regolare per evitare lo sforzo richiesto dal sondaggio ma raccogliendo comunque dati significativi.

  • Sondaggio in forma breve: può essere condotto ogni due settimane se è necessario feedback frequente, specialmente se abbinato ad altri canali di feedback come le discussioni online o di persona.
  • Sondaggio a lungo termine: consigliato di essere condotto non più di una volta ogni quattro settimane, in particolare alla fine delle fasi di valutazione e adozione, per acquisire un feedback completo.

2. Strutturazione del sondaggio

Le domande del sondaggio devono essere personalizzate in base alle esigenze specifiche dell'organizzazione, assicurandosi che i dati raccolti siano pertinenti e utilizzabili. Ecco come strutturare sia i sondaggi brevi che quelli lunghi:

  • Sondaggio in forma breve: è incentrato sul feedback immediato, sull'acquisizione della soddisfazione complessiva degli sviluppatori con GitHub Copilot, sulle sfide specifiche affrontate e sul tempo risparmiato o sprecato.

    • Domande di esempio:
      • "Come ti sentiresti se non potessi più usare GitHub Copilot?"
      • "Quando uso GitHub Copilot, mi diverto di più scrivere codice / scrivo codice di migliore qualità / completo le attività più velocemente".
      • "Quali sfide hai affrontato con l'uso di GitHub Copilot dall'ultimo sondaggio?"

  • Sondaggio a lungo termine: offre un'analisi più approfondita dell'impatto di GitHub Copilot, dell'acquisizione di informazioni dettagliate sull'utilizzo e sui vantaggi e sul modo in cui influisce sulle dinamiche del team.

    • Domande di esempio:
      • "Uso GitHub Copilot per scrivere codice in un linguaggio familiare / esplorare un nuovo linguaggio / scrivere codice ripetitivo".
      • "Quando usa GitHub Copilot, il mio team fornisce migliori revisioni del codice / unisce codice e produzione più velocemente".
      • "Quali sfide hai affrontato con l'uso di GitHub Copilot dall'ultimo sondaggio?"

3. Analisi dei risultati del sondaggio

Una volta completati i sondaggi, è importante analizzare sistematicamente i risultati:

  • Considerazioni sulla privacy: assicurarsi che le risposte ai sondaggi siano anonime e non possano essere ricontracciate a singoli sviluppatori, soddisfando gli obblighi di privacy.
  • Rilevamento dei dati: è possibile raccogliere le risposte del sondaggio in strumenti o fogli di calcolo di Business Intelligence esistenti per facilitare l'analisi. Nel corso del tempo, tenere traccia dei risultati per identificare le tendenze e prendere decisioni informate sull'implementazione di GitHub Copilot.

4. Miglioramento continuo

Usare le informazioni dettagliate raccolte dai sondaggi per prendere decisioni informate sulla distribuzione di GitHub Copilot nell'organizzazione. Concentrarsi sulla risoluzione delle sfide identificate, sfruttando i vantaggi segnalati dagli sviluppatori e modificando l'uso dello strumento per ottimizzare la produttività.

Il sondaggio per sviluppatori di GitHub Copilot è un componente fondamentale per comprendere e migliorare l'uso di GitHub Copilot all'interno dei team.

Sfruttando l'API REST e il sondaggio per le metriche di utilizzo di GitHub Copilot, è possibile andare oltre le prove aneddotiche e ottenere informazioni concrete sul modo in cui GitHub Copilot influenza il processo di codifica. Questo approccio basato sui dati consente di prendere decisioni informate e migliorare continuamente il ruolo di GitHub Copilot nel flusso di lavoro di sviluppo e consente di identificare le aree in cui l'uso può essere ottimizzato per massimizzare i vantaggi.