ChatGPT przystąpił do egzaminu MBA. Oto jak to się stało
Chatbot OpenAI zostaje wyznaczony do egzaminu przez profesora Wharton, ale co wynik oznacza dla przyszłości edukacji?
Profesor z Wharton, University of Pennsylvania przyznał teoretyczną ocenę B ChatGPT po zaznaczeniu wygenerowanych przez niego odpowiedzi na egzamin końcowy na typowym kursie MBA.
Christian Terwiesch, profesor zarządzania operacyjnego w Wharton, powiedział, że ChatGPT wykonuje "niesamowitą robotę w zakresie podstawowego zarządzania operacjami i analizy procesów".
"Nie tylko odpowiedzi są poprawne, ale wyjaśnienia są doskonałe" - pisze w nowej białej księdze.
Dodał jednak, że chatbot popełnia "zaskakujące błędy w stosunkowo prostych obliczeniach na poziomie matematyki w szóstej klasie" i że obecnie nie jest w stanie poradzić sobie z bardziej zaawansowanymi pytaniami dotyczącymi analizy procesów. Z drugiej strony obecna wersja ChatGPT może modyfikować swoje odpowiedzi w odpowiedzi na ludzkie wskazówki, aby znaleźć właściwe rozwiązanie.
"Biorąc pod uwagę te wyniki, Chat GPT3 otrzymałby ocenę od B do B na egzaminie" - pisze Terwiesch.
Kilka pytań Terwiescha miało na celu sprawdzenie, czy ChatGPT może zidentyfikować wąskie gardło w operacji przetwarzania z wieloma maszynami o różnej przepustowości.
ChatGPT jednak "popełnił poważny błąd o ogromnej skali" podczas obliczeń za pomocą arytmetyki średniego poziomu.
Co ciekawe, ChatGPT początkowo błędnie odpowiedział na jedno z pytań Terwiescha dotyczących analizy kolejkowej. Skłonił go wskazówką dotyczącą lepszej odpowiedzi, a ChatGPT poprawił swoją odpowiedź. Następnego dnia profesor zadał mu to samo początkowe pytanie w kolejce bez podpowiedzi - a ChatGPT odpowiedział poprawnie przy pierwszej próbie.
"Albo jest w stanie uczyć się na podstawie wcześniejszych informacji zwrotnych, albo po prostu miałem szczęście", zauważa, dodając, że wydaje się, że jakość odpowiedzi jest przypadkowa.
Terwiesch odkrył również, że ChatGPT był w stanie sformułować sprytne i humorystyczne pytania, które mógł wykorzystać na przyszłych egzaminach. Jednak chatbot wprowadził również subtelne błędy w niektórych pytaniach, które uniemożliwiły udzielenie na nie odpowiedzi.
Terwiesch ostrzega innych, aby zwracali uwagę na możliwości i ograniczenia ChatGPT. Mówi, że "zakochał się" w ChatGPT po przeczytaniu odpowiedzi na swoje pierwsze pytanie, ale ostrzega, że "popełnił poważne błędy w kilku dość prostych sytuacjach".
"Wciąż jesteśmy daleko od oceny A+ dla złożonych problemów i nadal potrzebujemy człowieka w pętli" - pisze.
"Moim zdaniem uczeń szkoły podstawowej nadal musi się nauczyć, że 7 x 7=49 i że stolicą Pensylwanii jest Harrisburg, mimo że kalkulatory są powszechnie używane od ponad 50 lat, a uczniowie mogą korzystać z Google Wikipedia, aby znaleźć odpowiedzi na większość pytań dotyczących faktów. Naturą podstawowych umiejętności jest to, że są one wymagane do zrozumienia bardziej zaawansowanych tematów".
Terwiesch zgadza się, że nauczyciele powinni obawiać się, że uczniowie K-12 mogą używać ChatGPT do oszukiwania na zadaniach i egzaminach. Na przykład Departament Edukacji Miasta Nowy Jork niedawno zakazał korzystania z chatbota, ponieważ wiarygodne testy są ważne w nauczaniu, a certyfikacja umiejętności nie powinna być zagrożona z powodu nowej technologii. Zauważa, że uczeń korzystający z ChatGPT jest jak możliwość zadzwonienia do przyjaciela o "przeciętnych kompetencjach akademickich", aby ukończyć za niego egzamin.
Ale twierdzi również, że ChatGPT i podobne technologie mogą odgrywać rolę "inteligentnego konsultanta" - takiego, który udziela eleganckich, ale często błędnych odpowiedzi, co jego zdaniem jest "idealnym poligonem treningowym" do rozwijania umiejętności wśród studentów MBA, którzy muszą krytycznie oceniać sugerowane alternatywy.