Segundo pesquisa, Copilot do GitHub ajuda a impulsionar a produtividade. Veja

O GitHub fez uma pesquisa com mais de 2 mil pessoas desenvolvedoras para descobrir se o Copilot os ajudou a serem mais produtivos e melhorou a maneira de programar. A plataforma então combinou o feedback e as percepções com dados quantitativos de produtividade.

Agora, o GitHub Copilot está disponível para todas as pessoas desenvolvedores. O feedback analisados e a pesquisa com usuários do Copilot reforçam a tese central: a IA pode ajudar desenvolvedores a serem mais produtivos enquanto escrevem códigos. Mais ainda, a plataforma queria testar essa teoria e ver se o próprio GitHub Copilot resulta em taxas de produtividade maiores entre desenvolvedores.

Este foi o primeiro de muitos estudos que o GitHub fará sobre o Copilot, e os primeiros resultados são promissores.

Humanos, calculadoras e GitHub Copilot

Se você programa em par com um amigo ou colega, isso faz de você mais produtivo? A maioria das pessoas concorda que, mesmo que as sugestões de um amigo não sejam perfeitas, trabalhar com alguém normalmente ajuda a alcançar os objetivos de codificação mais rapidamente, entregar produtos finais melhores, e aprender algo novo durante o processo. Pesquisas acadêmicas também encontraram evidência de que programar em par aumenta a produtividade [1, 2].

Entretanto, em contraste, tentar resolver um problema de matemática com uma calculadora que frequentemente dá as respostas erradas, seria útil? Provavelmente não. A diferença é que o que mais valorizamos em uma calculadora é a precisão. Não são muitas as pessoas que recorrem a uma calculadora para se inspirar.

Em suma, de certa maneira, o GitHub Copilot é como um desenvolvedor em par com uma calculadora embutida. Funciona muito bem para as coisas complicadas, e quem usa pode confiar que ele vai fechar todos os parênteses na ordem certa – o que é bem útil.

Embora o GitHub Copilot possa ajudar em tarefas como garantir que os parênteses sejam todos fechados, os desenvolvedores revelaram que priorizam também outras funcionalidades, como a sugestão de padrões e de boilerplates pré-programados – o que economiza tempo e demanda pouca mudança de texto.

Estudando o impacto do GitHub Copilot na produtividade da pessoa desenvolvedora

O GitHub Copilot foi criado para ajudar a tornar as pessoas desenvolvedoras mais felizes e produtivas ao mantê-las focadas no que mais importa: criar softwares incríveis.

Mas a palavra “produtividade” no desenvolvimento tem muitos significados práticos. Pessoas desenvolvedoras idealmente querem lembrar de atalhos de teclado ou evitar buscas no Google e no StackOverflow? O GitHub Copilot deveria ajudar a mantê-las no fluxo e dar soluções altamente precisas em tarefas mecanizadas, como uma calculadora? Ou deveria inspirá-los com stubs especulativos que podem ajudá-los a desbloquear o passo em que estão presos?

O GitHub Copilot basicamente explora territórios desconhecidos, então o primeiro passo da empresa foi perguntar para as pessoas, em uma pesquisa, o que elas querem. O GitHub bateu as respostas com dados colhidos anonimamente para determinar se as pessoas realmente sentiram um boost na produtividade e se isso se refletia em como eles usavam o programa na realidade.

No total, a pesquisa abrangeu mais de 2 mil pessoas desenvolvedoras dos Estados Unidos e comparou as respostas com dados de usuários recolhidos no mesmo período. Portanto, os objetivo era responder três perguntas:

1. As pessoas sentem que o GitHub Copilot fazem delas mais produtivas?
2. Esse sentimento reflete em alguma medida objetiva de uso?
3. Quais medidas de uso refletem melhor esse sentimento?

Descobertas: o uso do Copilot está correlacionado ao aumento da produtividade

As pessoas que ajudaram a desenvolver o GitHub Copilot ficaram bastante satisfeitas ao analisarem como o programa era descrito nas pesquisas: empoderador de diversas maneiras.

A conexão com o uso de dados objetivos também ficou clara. Por exemplo, o GitHub contou com quantos caracteres o GitHub Copilot contribuiu, o número de sugestões mantidas, e com que frequência o GitHub Copilot fazia sugestões no geral. Tudo isso relacionou-se com a usabilidade e aumento da produtividade.

A conexão mais forte foi encontrada dividindo o número de soluções aceitas pelo de sugestões apresentadas. A taxa de aceitação capta quantas das sugestões de código do GitHub Copilot são consideradas boas o bastante para serem aceitas.

Dessa forma, os desenvolvedores que relataram um maior ganho de produtividade com o GitHub Copilot também aceitaram o maior número de soluções sugeridas.

Ao dividir os usuários em diferentes quartis, baseando-se no quão útil eles classificaram o GitHub Copilot, percebeu-se uma grande diferença entre os grupos. Portanto, o grau de aceitação dos complementos era muito maior para aqueles que relataram os maiores ganhos de produtividade.

O GitHub concluiu que as pessoas desenvolvedoras não ligam tanto de ter que reescrever a sugestão, desde que o Copilot lhes desse um ponto de partida adequado.

Gostou da novidade? Compartilhe com seus amigos e deixe sua opinião nos comentários!