Poddałem bezpłatną wersję Perplexity.ai testom kodowania i oto co się stało

Kto by się spodziewał, że Perplexity.ai przebije tak wiele innych chatbotów AI pod względem umiejętności kodowania?

Przetestowałem możliwości kodowania wielu generatywnych narzędzi AI dla ZDNET - i tym razem przyszła kolej na Perplexity.

Perplexity przypomina skrzyżowanie wyszukiwarki i chatbota AI. Kiedy zapytałem Perplexity, czym różni się ono od innych generatywnych narzędzi AI, chatbot odpowiedział, że korzysta z dostępu do informacji w czasie rzeczywistym i codziennie indeksuje sieć. Użytkownicy mogą zawęzić wyszukiwanie, prosząc Perplexity o skupienie się na źródłach lub platformach.

Darmowa wersja Perplexity jest dość ograniczona. Do analizy wykorzystuje model GPT-3.5 OpenAI, dopuszcza tylko pięć pytań dziennie i chociaż obsługuje przesyłanie dokumentów, przesyłanie to jest ograniczone do trzech dziennie.

Wersja Pro Perplexity kosztuje 20 USD miesięcznie. Ta wersja pozwala na nieograniczone „szybkie” wyszukiwania, 600 wyszukiwań Pro dziennie i opcjonalność modelu AI. Możesz wybierać spośród GPT-4o, Claude 3, Sonar Large (LLaMa 3) i innych. Wersja Pro zapewnia także środki API w wysokości 5 USD miesięcznie.

Zdecydowaliśmy się zrezygnować z wersji Pro i uruchomić wersję bezpłatną w ramach naszego wstępnego testu umiejętności programowania Perplexity. Przeprowadziłem te testy kodowania na chatbotach AI z różnymi wynikami. Jeśli chcesz śledzić dalej, skieruj swoją przeglądarkę na stronę „Jak testuję zdolność kodowania chatbota AI - i Ty też możesz”, która zawiera wszystkie standardowe testy, które stosuję, wyjaśnienia, jak one działają i szczegółowe informacje na temat tego, czego należy szukać wyniki.

Przyjrzyjmy się teraz wynikom każdego testu i zobaczmy, jak wypadają w porównaniu z poprzednimi testami, w których zastosowano Claude 3.5 Sonnet, Microsoft Copilot, Meta AI, Meta Code Llama, Google Gemini Advanced i ChatGPT.

1. Napisanie wtyczki do WordPressa

To wyzwanie wymaga kilku rzeczy. Najpierw prosi chatbota o utworzenie interfejsu użytkownika do wprowadzania wierszy, które mają być losowe (ale nie deduplikowane). Następnie test wymaga od chatbota utworzenia przycisku, który nie tylko losuje listę, ale także upewnia się, że wszelkie zduplikowane elementy są prezentowane w taki sposób, że na wynikowej liście nie znajdują się obok siebie.

Jak dotąd większość chatbotów AI, z wyjątkiem Meta Code Llama, stworzyła w miarę rozsądny interfejs użytkownika. Niektóre były bardziej atrakcyjne niż inne, ale wszystkie spełniły swoje zadanie.

Jednak tylko ChatGPT (obsługiwany przez GPT-3.5, GPT-4 i GPT-4o) wygenerował prawidłowe losowe wyjście. Większość innych chatbotów AI po prostu wyświetlała przycisk, który po kliknięciu nie zrobił nic.

Zakłopotanie zadziałało. Stworzył interfejs użytkownika zgodny ze specyfikacją, a przycisk Randomize zadziałał i oddzielił zduplikowane linie.

Oto zbiorcze wyniki tego i poprzednich testów:

• Zaskoczenie: Interfejs: dobry, funkcjonalność: dobra
• Claude 3.5 Sonnet: Interfejs: dobry, funkcjonalność: nie
• CzatGPT przy użyciu GPT-4o: Interfejs: dobry, funkcjonalność: dobra
• Microsoft Copilot: Interfejs: odpowiedni, funkcjonalność: niepowodzenie
• Meta AI: Interfejs: odpowiedni, funkcjonalność: nie
• Lama metakodu: Całkowita porażka
• Google Gemini Advanced: Interfejs: dobry, funkcjonalność: nie
• CzatGPT przy użyciu GPT-4: Interfejs: dobry, funkcjonalność: dobra
• CzatGPT przy użyciu GPT-3.5: Interfejs: dobry, funkcjonalność: dobra

2. Przepisanie funkcji łańcuchowej

W tym teście naprawiono funkcję sprawdzającą, która sprawdza obecność dolarów i centów.

Mój oryginalny kod był błędny, dopuszczał tylko dolary całkowite, ale nie centy. Dowiedziałem się, gdy użytkownik przesłał raport o błędzie. Początkowo przekazałem nieprawidłowy kod do ChatGPT, który wykonał dobrą robotę, przepisując funkcję, aby umożliwić kwoty w dolarach i dwie cyfry po prawej stronie przecinka dziesiętnego.

Zakłopotanie również zdało ten test.

Wygenerowany kod mógł być bardziej zwarty, ale zadziałał. W przypadku, gdy ciąg znaków podany przez użytkownika zawierał tylko zera, implementacja Perplexity usuwała wszystko. Aby to zrekompensować, Perplexity najpierw sprawdził zero.

To podejście jest wykonalne, ale wygenerowane wyrażenie regularne Perplexity mogło zostać zapisane w celu uwzględnienia tej odmiany. Jest to prosty wybór w zakresie implementacji i wielu wykwalifikowanych programistów wybrałoby dowolną ścieżkę, więc podejście Perplexity jest akceptowalne.

Kod Perplexity poprawnie przetestował przesłane dane, aby upewnić się, że odpowiadają formatowi dolarów i centów. Następnie kod przekonwertował ciąg na liczbę. Sprawdzono również, czy przeanalizowana liczba była poprawna i nieujemna.

Ogólnie rzecz biorąc, Perplexity stworzyło solidny kod. Oto zbiorcze wyniki tego i poprzednich testów:

• Zaskoczenie: Udało się
• Sonet Claude'a 3.5: Nie udało się
• Czatuj GPT przy użyciu GPT-4o: udało się
• Microsoft Copilot: nie powiodło się
• Meta AI: nie powiodło się
• Lama metakodu: udało się
• Google Gemini Advanced: nie powiodło się
• CzatGPT używając GPT-4: powiodło się
• CzatGPT przy użyciu GPT-3.5: powiodło się

3. Znalezienie irytującego błędu

Błąd w moim kodzie mnie zdezorientował, więc zwróciłem się o pomoc do ChatGPT. Jak się okazało, źródło problemu nie było intuicyjnie oczywiste, dlatego je przeoczyłem.

Błąd przekazania parametru wymaga wiedzy na temat działania frameworka WordPress. Przeoczyłem ten błąd, ponieważ PHP zdawało się sugerować, że problem dotyczy jednej części kodu, podczas gdy w rzeczywistości problemem był sposób przejścia kodu przez operację specyficzną dla WordPressa.

Perplexity znalazł problem i poprawnie zdiagnozował rozwiązanie.

Oto zbiorcze wyniki tego i poprzednich testów:

• Zaskoczenie: Udało się
• Sonet Claude'a 3.5: Udało się
• Czatuj GPT przy użyciu GPT-4o: udało się
• Microsoft Copilot: nie powiodło się
• Meta AI: udało się
• Lama metakodu: nie powiodło się
• Google Gemini Advanced: nie powiodło się
• CzatGPT używając GPT-4: powiodło się
• CzatGPT przy użyciu GPT-3.5: powiodło się

4. Pisanie scenariusza

Ten końcowy test analizuje obszerność bazy wiedzy chatbota AI. Test wymaga wygenerowania kodu, który wymaga znajomości obiektowego modelu dokumentu Chrome, AppleScript i narzędzia skryptowego innej firmy dla komputerów Mac o nazwie Keyboard Maestro.

Wyglądało na to, że Perplexity nie wiedziało o Keyboard Maestro, więc nie napisało niezbędnego wywołania języka skryptowego w celu pobrania wartości zmiennej.

Perplexity również popełnił ten sam błąd, co Claude 3.5 Sonnet, generując linię kodu AppleScript, która po uruchomieniu skutkowałaby komunikatem o błędzie składniowym. Ten błąd wskazywał na brak wiedzy o tym, jak AppleScript ignoruje wielkie i małe litery oraz gdzie uwzględnia wielkość łańcucha przy porównywaniu dwóch wartości.

Oto zbiorcze wyniki tego i poprzednich testów:

• Zaskoczenie: nie powiodło się
• Sonet Claude'a 3.5: Nie udało się
• Czatuj GPT przy użyciu GPT-4o: Udane, ale z zastrzeżeniami
• Microsoft Copilot: nie powiodło się
• Meta AI: nie powiodło się
• Lama metakodu: nie powiodło się
• Google Gemini Advanced: udało się
• CzatGPT używając GPT-4: powiodło się
• CzatGPT przy użyciu GPT-3.5: nie powiodło się

Wyniki ogólne

Oto ogólne wyniki czterech testów:

• Zaskoczenie: 3 z 4 zakończyło się sukcesem
• Sonet Claude 3.5: 1 z 4 zakończył się sukcesem
• CzatGPT przy użyciu GPT-4o: 4 z 4 zakończyło się sukcesem, ale z zastrzeżeniem
• Microsoft Copilot: 0 z 4 zakończyło się sukcesem
• Meta AI: 1 na 4 powiodło się
• Lama metakodu: 1 na 4 powiodło się
• Google Gemini Advanced: 1 na 4 powiodło się
• CzatGPT używając GPT-4: 4 z 4 zakończyło się sukcesem
• CzatGPT używający GPT-3.5: 3 z 4 powiodło się

Ogólnie rzecz biorąc, Perplexity wypadło dobrze. Pomyślałem, że chatbot AI może nie przejść czwartego testu, ponieważ zrobił to GPT-3.5, a darmowa wersja Perplexity korzysta z modelu GPT-3.5.

Byłem zaskoczony tymi wynikami, ponieważ Copilot firmy Microsoft ma również korzystać z silnika AI OpenAI, ale Copilot zawiódł praktycznie we wszystkim. Zaskoczenie odzwierciedlało wyniki GPT-3.5, co ma sens, ponieważ darmowa wersja wykorzystuje GPT-3.5.

Daj mi znać, jeśli chcesz zobaczyć, jak działa Perplexity Pro. Jeśli otrzymam wystarczającą liczbę próśb, zarejestruję się w ramach jeszcze jednej miesięcznej opłaty za sztuczną inteligencję i przeprowadzę kilka testów.

Czy wypróbowałeś darmową wersję Perplexity lub wersję Pro? Daj nam znać w komentarzach poniżej.

Możesz śledzić moje codzienne aktualizacje projektu w mediach społecznościowych. Pamiętaj, aby zapisać się do mojego cotygodniowego biuletynu z aktualizacjami i śledzić mnie na Twitterze/X pod adresem @DavidGewirtz, na Facebooku pod adresem Facebook.com/DavidGewirtz, na Instagramie pod adresem Instagram.com/DavidGewirtz i na YouTube pod adresem YouTube.com/DavidGewirtzTV.