ChatGPT nieprawidłowo odpowiada na ponad połowę pytań dotyczących inżynierii oprogramowania
Możesz chcieć trzymać się Stack Overflow, aby uzyskać pomoc w zakresie inżynierii oprogramowania.
Zdolność ChatGPT do udzielania konwersacyjnych odpowiedzi na dowolne pytania w dowolnym momencie sprawia, że chatbot jest przydatnym źródłem informacji dla Twoich potrzeb. Pomimo tej wygody, nowe badanie wykazało, że możesz nie chcieć używać ChatGPT do wyświetlania monitów o inżynierię oprogramowania.
Przed pojawieniem się chatbotów AI Stack Overflow był głównym źródłem informacji dla programistów, którzy potrzebowali porad dotyczących swoich projektów, z modelem pytań i odpowiedzi podobnym do ChatGPT.
Jednak w przypadku Stack Overflow musisz poczekać, aż ktoś odpowie na Twoje pytanie, podczas gdy w przypadku ChatGPT nie.
W rezultacie wielu inżynierów oprogramowania i programistów zwróciło się ze swoimi pytaniami do ChatGPT. Ponieważ nie było danych pokazujących skuteczność ChatGPT w odpowiadaniu na tego typu podpowiedzi, dylemat ten zbadano w nowym badaniu Purdue University.
Aby dowiedzieć się, jak skuteczna jest ChatGPT w odpowiadaniu na pytania inżynierii oprogramowania, badacze zadali ChatGPT 517 Stack Overflow pytania i sprawdzili dokładność i jakość tych odpowiedzi.
Wyniki pokazały, że spośród 512 pytań 259 (52%) odpowiedzi ChatGPT było nieprawidłowych, a tylko 248 (48%) było poprawnych. Co więcej, aż 77% odpowiedzi było gadatliwych.
Pomimo znacznej niedokładności odpowiedzi, wyniki wykazały, że odpowiedzi były wyczerpujące w 65% przypadków i dotyczyły wszystkich aspektów pytania.
Aby dokładniej przeanalizować jakość odpowiedzi ChatGPT, badacze poprosili 12 uczestników o różnym poziomie wiedzy programistycznej o przedstawienie swoich spostrzeżeń na temat odpowiedzi.
Chociaż uczestnicy woleli odpowiedzi Stack Overflow od ChatGPT w różnych kategoriach, jak widać na wykresie, uczestnikom nie udało się poprawnie zidentyfikować błędnych odpowiedzi wygenerowanych przez ChatGPT w 39,34% przypadków.
Według badania dobrze sformułowane odpowiedzi ChatGPT spowodowały, że użytkownicy przeoczyli nieprawidłowe informacje w odpowiedziach.
„Użytkownicy przeoczają nieprawidłowe informacje w odpowiedziach ChatGPT (39,34% przypadków) ze względu na kompleksowe, dobrze sformułowane i humanoidalne spostrzeżenia zawarte w odpowiedziach ChatGPT” - napisali autorzy.
Generowanie wiarygodnie brzmiących odpowiedzi, które są nieprawidłowe, jest istotnym problemem we wszystkich chatbotach, ponieważ umożliwia rozpowszechnianie dezinformacji. Oprócz tego ryzyka, niskie wyniki dokładności powinny wystarczyć, aby skłonić Cię do ponownego rozważenia użycia ChatGPT w przypadku tego typu podpowiedzi.