Dane sugerują, że sztuczna inteligencja gen. zwiększa produktywność oprogramowania - w przypadku tych programistów
Nowe badanie podkreśla sukcesy i rozbieżności we wdrażaniu sztucznej inteligencji generacji na poziomie indywidualnym.
W ostatnich latach głośno było o tym, jak generatywna sztuczna inteligencja (AI gen.) ułatwia życie programistom, ponieważ generuje na żądanie fragmenty kodu, sugestie i powiązaną dokumentację. Wielu programistów uważa, że zwiększanie produktywności odbywa się oczywiście intuicyjnie. Teraz mamy twarde dane potwierdzające to założenie.
Warto jednak zauważyć, że sztuczna inteligencja jest bardziej pomocna dla programistów rozpoczynających pracę na tym stanowisku niż ich starsi odpowiednicy, jak wynika z nowego badania przeprowadzonego przez naukowców z MIT, Microsoft, Princeton University i University of Pennsylvania. Naukowcy przeanalizowali dane z trzech badań przeprowadzonych w Microsoft, Accenture i anonimowej firmie produkującej elektronikę z listy Fortune 100, w których wzięło udział 4867 programistów. Niestety, jak zauważyli naukowcy, 40% uczestników segmentu Accenture zostało zwolnionych w połowie eksperymentu. Stąd zwrot akcji z prawdziwego życia, łagodzący chwałę sztucznej inteligencji.
Eksperymenty te były przeprowadzane przez firmy w ramach ich zwykłej działalności, a programiści korzystali z GitHub Copilot - asystenta kodowania opartego na sztucznej inteligencji typu open source, który sugeruje inteligentne uzupełnianie kodu. „Nasza analiza wskazuje na 26% wzrost liczby zrealizowanych zadań wśród programistów korzystających z narzędzia AI” - stwierdzają badacze.
Co ważne, mniej doświadczeni programiści wykazali wyższy wskaźnik wdrożenia i większy wzrost produktywności dzięki sztucznej inteligencji. „Copilot znacznie ułatwia realizację zadań w przypadku nowo zatrudnionych pracowników i osób na niższych stanowiskach, ale nie w przypadku programistów z dłuższym stażem i na wyższych stanowiskach” - zauważyli naukowcy. Deweloperzy z krótkim stażem zwiększyli swoją produkcję o 27% do 39%, podczas gdy deweloperzy z długim stażem odnotowali marginalne zyski o 8% do 13%.
Badacze spekulowali nawet, że dojrzali programiści porzucili CoPllot po pierwszym wypróbowaniu. „Copilot jest stosunkowo łatwiejszy i tańszy w porównaniu z innymi narzędziami AI w miejscu pracy” - stwierdzają. „Copilot nie wymaga żadnych dodatkowych inwestycji, można go zastosować na poziomie indywidualnym i jest już zintegrowany ze środowiskiem programistycznym”.
Jednak pomimo tych zalet wskaźnik wykorzystania CoPilota „we wszystkich trzech eksperymentach utrzymuje się znacznie poniżej 100%, a około 30-40% inżynierów nawet nie wypróbowało tego produktu” - zauważyli. „Co więcej, wskaźniki adaptacji są niezwykle podobne we wszystkich eksperymentach. Sugeruje to, że czynniki inne niż dostęp, takie jak indywidualne preferencje i postrzegana użyteczność narzędzia, odgrywają ważną rolę w decyzjach inżynierów dotyczących korzystania z tego narzędzia”.
Oprócz ogólnego wzrostu produktywności badanie ujawniło poprawę w zakresie określonych zadań związanych z kodowaniem. Nastąpił 14% wzrost liczby aktualizacji kodu (zatwierdzeń) i 38% wzrost liczby kompilacji kodu.
Na szczęście pracę oprogramowania można stosunkowo łatwo zmierzyć, stosując wysoce ustrukturyzowany przepływ pracy, podczas którego określone zadania są definiowane i śledzone za pomocą oprogramowania do kontroli wersji. „Wewnętrznie zdefiniowane cele i zadania są zatem wymierne” - zauważyli badacze.