Sztuczna inteligencja Perplexity Pro absolutnie przeszła moje testy kodowania, ale jest pewien haczyk

Czy Perplexity Pro jest warte opłaty abonamentowej? Może to zależeć od tego, do czego go używasz, ale powinien dobrze pomóc w programowaniu. Oto dlaczego.

Kilka tygodni temu przeprowadziłem mój standardowy zestaw testów programistycznych w porównaniu z bezpłatną wersją chatbota Perplexity.ai. Na końcu artykułu zaproponowałem, że przeprowadzę testy z wersją Pro za 20 USD/mies., jeśli wystarczająco dużo osób będzie zainteresowanych. Otrzymałem kilka próśb, więc właśnie to tutaj robimy.

Podobnie jak większość innych wersji pro, aby korzystać z Perplexity Pro, musisz założyć konto. Możesz zalogować się przy użyciu metod uwierzytelniania Google lub Apple albo logowania SAML. Alternatywnie możesz utworzyć konto przy użyciu adresu e-mail, co też zrobiłem.

Niestety, wydaje się, że witryna nie umożliwia ustawienia hasła ani żadnej formy uwierzytelniania wielopoziomowego. Dostajesz e-mail z kodem i to wszystko. Nie mam nic przeciwko otrzymaniu kodu e-mail, ale naprawdę niepokoją mnie aplikacje internetowe opierające się wyłącznie na kodzie e-mail bez przynajmniej hasła. Ale to właśnie robi Perplexity.AI.

Innym interesującym aspektem Perplexity Pro jest róg obfitości modeli AI. Jak widać na obrazku poniżej, możesz wybierać spośród wielu różnych modeli, w zależności od rodzaju wykonywanej pracy. Wybrałem Domyślne, aby zobaczyć, co to dało w testach. Po przeprowadzeniu testów zapytałem Perplexity Pro, jakiego modelu używa w ich przypadku, i odpowiedział mi ChatGPT GPT-4.

I w związku z tym przeprowadźmy kilka testów.

1. Napisanie wtyczki do WordPressa

To wyzwanie jest dość prostym zadaniem programistycznym dla każdego, kto ma choć odrobinę doświadczenia w programowaniu stron internetowych. Przedstawia interfejs użytkownika w panelu administracyjnym z dwoma polami: jedno to lista nazw, które mają zostać losowane, a drugie to dane wyjściowe.

Jedynym prawdziwym problemem jest to, że lista nazw może zawierać duplikaty i zamiast usuwać dodatkowe nazwy, zawarte w niej instrukcje mają upewnić się, że zduplikowane nazwy są oddzielone od siebie.

To była naprawdę pożądana funkcja, której moja żona potrzebowała w swojej witrynie e-commerce. Co miesiąc kręcą się kołem i niektórzy ludzie kwalifikują się do wielokrotnych wpisów.

Korzystając z domyślnego modelu Perplexity Pro, sztucznej inteligencji udało się wygenerować działający interfejs użytkownika i kod funkcjonalny, udostępniając zarówno blok PHP, jak i blok JavaScript do kontrolowania obszarów tekstowych i logiki randomizacji.

Oto zbiorcze wyniki tego i poprzednich testów:

• Perplexity Pro: Interfejs: dobry, funkcjonalność: dobra
• Zaskoczenie: Interfejs: dobry, funkcjonalność: dobra
• Claude 3.5 Sonnet: Interfejs: dobry, funkcjonalność: nie
• CzatGPT przy użyciu GPT-4o: Interfejs: dobry, funkcjonalność: dobra
• Microsoft Copilot: Interfejs: odpowiedni, funkcjonalność: niepowodzenie
• Meta AI: Interfejs: odpowiedni, funkcjonalność: nie
• Lama metakodu: Całkowita porażka
• Google Gemini Advanced: Interfejs: dobry, funkcjonalność: nie
• CzatGPT przy użyciu GPT-4: Interfejs: dobry, funkcjonalność: dobra
• CzatGPT przy użyciu GPT-3.5: Interfejs: dobry, funkcjonalność: dobra

2. Przepisywanie funkcji łańcuchowej

Dla każdego testu otwieram nową sesję z AI. W tym teście proszę sztuczną inteligencję o przepisanie bloku kodu, który zawierał błąd. Kod został zaprojektowany w celu sprawdzenia poprawności wprowadzonych dolarów i centów, które powinny składać się z określonej liczby cyfr przed przecinkiem dziesiętnym, możliwego przecinka dziesiętnego i dwóch cyfr po przecinku.

Niestety, kod, który wysłałem, dopuszczał tylko liczby całkowite. Po kilku raportach użytkowników zdecydowałem się przekazać kod AI w celu przepisania go. Mój kod używa wyrażeń regularnych, które stanowią formalny sposób określania formatu. Wyrażenia regularne same w sobie są zabawne, ale ich debugowanie już nie.

W przypadku tego testu Perplexity Pro spisał się nieźle. Powstały kod weryfikacyjny prawidłowo oznaczył pozycje, które nie pasowały do formatu dolarów i centów, dopuszczając maksymalnie dwie cyfry po przecinku.

Oto zbiorcze wyniki tego i poprzednich testów:

• Perplexity Pro: Udało się
• Zaskoczenie: udało się
• Sonet Claude'a 3.5: Nie udało się
• Czatuj GPT przy użyciu GPT-4o: udało się
• Microsoft Copilot: nie powiodło się
• Meta AI: nie powiodło się
• Lama metakodu: udało się
• Google Gemini Advanced: nie powiodło się
• Czatuj GPT przy użyciu GPT-4: udało się
• Czatuj GPT przy użyciu GPT-3.5: udało się

3. Znalezienie irytującego błędu

Ten test wprawił mnie w zakłopotanie na kilka godzin. Zanim był to test, był to błąd w kodzie rzeczywistego produktu. Problem polegał na tym, że cokolwiek szło nie tak, nie było związane z żadnym oczywistym problemem logicznym lub językowym.

Będąc poważnie sfrustrowany, zdecydowałem się podać ChatGPT kod, a także zrzut błędów i poprosić go o pomoc. Na szczęście znalazło to, co zrobiłem źle i dało mi wskazówki, co poprawić.

Powodem, dla którego włączam to do zestawu testów, jest to, że błąd nie dotyczył języka ani logiki, lecz wynikał ze znajomości frameworka WordPress. Chociaż WordPress jest popularny, wiedza o frameworku jest ogólnie uważana za folklor środowiska programistycznego, coś przekazywanego z programisty na programistę, a nie coś, czego można by się rygorystycznie uczyć w bazie wiedzy.

Jednak ChatGPT, a także Perplexity, a teraz Perplexity Pro, znalazły problem. Błąd wynikał z problemu z wywoływaniem parametrów ukrytego w samej strukturze. Oczywista odpowiedź, którą możesz uzyskać, czytając komunikaty o błędach generowane przez kod, była w rzeczywistości błędna.

Aby go rozwiązać, sztuczna inteligencja musiała wykazać się głębszym zrozumieniem, jak wszystkie systemy współpracują ze sobą, co w przypadku Perplexity Pro udało się pomyślnie.

Oto zbiorcze wyniki tego i poprzednich testów:

• Zaskoczenie: udało się
• Perplexity Pro: Udało się
• Sonet Claude'a 3.5: Udało się
• Czatuj GPT przy użyciu GPT-4o: udało się
• Microsoft Copilot: nie powiodło się
• Meta AI: udało się
• Lama metakodu: nie powiodło się
• Google Gemini Advanced: nie powiodło się
• Czatuj GPT przy użyciu GPT-4: udało się
• Czatuj GPT przy użyciu GPT-3.5: udało się

4. Pisanie scenariusza

To jest interesujące. Perplexity Pro przeszło ten test, ale darmowa wersja Perplexity nie powiodła się, gdy testowałem ją kilka tygodni temu. Więc, tak!

Ale zagłębmy się w to trochę. Wyzwanie polega na tym, że proszę sztuczną inteligencję o napisanie skryptu, który przecina trzy środowiska: Chrome DOM (obiektowy model dokumentu), AppleScript (natywny język skryptowy Apple) i Keyboard Maestro (bardzo fajne narzędzie do automatyzacji komputerów Mac, które jest dość niejasne, ale dla mnie krytyczne dla misji).

Większość sztucznej inteligencji poniosła porażkę, ponieważ w swoich bazach wiedzy nie miała żadnych informacji o Keyboard Maestro i jako taka nie podała niezbędnego kodu, aby skrypt mógł robić to, co chciałem.

Do tej pory tylko Gemini Advanced i ChatGPT korzystające z GPT-4 i GPT-4o przeszły ten test. Odpowiadając na pytanie, Perplexity Pro udostępniło widok Pro Search. Jak widać, widok Pro Search wyszukał „karty Keyboard Maestro AppleScript Google Chrome”. Wykorzystano także główne forum Keyboard Maestro jako źródło, które jest najlepszym źródłem pomocy w kodowaniu Keyboard Maestro.

Wynik był sukcesem.

Oto zbiorcze wyniki tego i poprzednich testów:

• Perplexity Pro: Udało się
• Zaskoczenie: nie udało się
• Sonet Claude'a 3.5: Nie udało się
• Czatuj GPT przy użyciu GPT-4o: Udane, ale z zastrzeżeniami
• Microsoft Copilot: nie powiodło się
• Meta AI: nie powiodło się
• Lama metakodu: nie powiodło się
• Google Gemini Advanced: udało się
• Czatuj GPT przy użyciu GPT-4: udało się
• Czat GPT przy użyciu GPT-3.5: nie powiodło się

Wyniki ogólne

Oto ogólne wyniki czterech testów:

• Perplexity Pro: 4 z 4 zakończyło się sukcesem
• Zaskoczenie: 3 z 4 zakończyło się sukcesem
• Sonet Claude 3.5: 1 z 4 zakończył się sukcesem
• CzatGPT przy użyciu GPT-4o: 4 z 4 zakończyło się sukcesem, ale z zastrzeżeniem
• Microsoft Copilot: 0 z 4 zakończyło się sukcesem
• Meta AI: 1 na 4 powiodło się
• Lama metakodu: 1 na 4 powiodło się
• Google Gemini Advanced: 1 na 4 powiodło się
• Czatuj GPT przy użyciu GPT-4: 4 z 4 zakończyło się sukcesem
• Czat GPT przy użyciu GPT-3.5: 3 z 4 zakończyło się sukcesem

Jak widać, Perplexity Pro dołącza tylko do ChatGPT z GPT-4 i GPT-4o, ponieważ uzyskał doskonały wynik 4 na 4. Po przeprowadzeniu testów sprawdziłem sztuczną inteligencję Perplexity Pro, która poinformowała mnie, że używa GPT-4 do analizowania moich testów i odpowiadania na nie.

Biorąc pod uwagę, że GPT-4/4o jest jedyną sztuczną inteligencją, która pomyślnie przeszła wszystkie cztery moje wcześniejsze testy, ma to sens. Jak dotąd nie znalazłem żadnego innego modelu, który w pełni i poprawnie przeszedłby wszystkie cztery testy programistyczne.

Jeśli wybierzesz Perplexity Pro, mogę z całą pewnością stwierdzić, że powinien on być w stanie wykonać dobrą robotę, pomagając Ci w programowaniu.

Czy próbowałeś kodować za pomocą Perplexity, Copilot, Meta AI, Gemini lub ChatGPT? Jakie są Twoje doświadczenia? Daj nam znać w komentarzach poniżej.

Możesz śledzić moje codzienne aktualizacje projektu w mediach społecznościowych. Pamiętaj, aby zapisać się do mojego cotygodniowego biuletynu z aktualizacjami i śledzić mnie na Twitterze/X pod adresem @DavidGewirtz, na Facebooku pod adresem Facebook.com/DavidGewirtz, na Instagramie pod adresem Instagram.com/DavidGewirtz i na YouTube pod adresem YouTube.com/DavidGewirtzTV.