OpenAI udostępnia programistom GPT-4 Turbo z Vision w celu odblokowania nowych aplikacji AI
Model multimodalny, taki jak GPT-4, może przenieść chatboty AI i inne aplikacje AI na nowy poziom, na przykład łącząc tekst i obrazy.
OpenAI jest najbardziej znane ze swoich zaawansowanych modeli wielkojęzykowych (LLM), wykorzystywanych do obsługi niektórych najpopularniejszych chatbotów AI, takich jak ChatGPT i Copilot. Modele multimodalne mogą wynieść możliwości chatbota na nowy poziom, udostępniając nową gamę aplikacji wizualnych, a OpenAI właśnie udostępniło je programistom.
We wtorek za pośrednictwem postu na X (wcześniej na Twitterze) OpenAI ogłosiło, że GPT-4 Turbo with Vision, najnowszy model GPT-4 Turbo z funkcjami wizyjnymi, jest teraz ogólnie dostępny dla programistów za pośrednictwem interfejsu API OpenAI.
W tym najnowszym modelu GPT-4 Turbo zachowano limit 128 000 tokenów i wiedzy obowiązujący od grudnia 2023 r. Główną różnicą są możliwości wizyjne, które umożliwiają zrozumienie obrazów i treści wizualnych.
Zanim udostępniono GPT-4 Turbo z Vision, programiści musieli korzystać z oddzielnych modeli dla tekstu i obrazów. Teraz programiści mogą po prostu skorzystać z jednego modelu, który spełnia obie funkcje, upraszczając proces i otwierając drzwi dla szerokiego zakresu zastosowań.
OpenAI udostępniło kilka sposobów, w jakie programiści już korzystają z tego modelu i są one dość fascynujące.
Na przykład Devin, asystent inżynierii oprogramowania AI, wykorzystuje GPT-4 Turbo z Vision, aby lepiej pomagać w kodowaniu. Aplikacja Healthify dotycząca zdrowia i kondycji wykorzystuje GPT-4 Turbo z funkcją Vision do skanowania zdjęć posiłków użytkowników i udostępniania informacji o wartościach odżywczych poprzez rozpoznawanie zdjęć. Wreszcie Make Real wykorzystuje GPT-4 Turbo z Vision do konwersji rysunku użytkownika na działającą stronę internetową.
Make Real, stworzony przez @tldraw, pozwala użytkownikom rysować interfejs użytkownika na tablicy i wykorzystuje GPT-4 Turbo z Vision do generowania działającej strony internetowej opartej na prawdziwym kodzie. pic.twitter.com/RYlbmfeNRZ
Chociaż model GPT-4 Turbo with Vision nie jest jeszcze dostępny w ChatGPT ani dla ogółu społeczeństwa, OpenAI zapowiadało, że wkrótce będzie dostępny w ChatGPT. Jeśli jesteś programistą i chcesz rozpocząć pracę z OpenAI GPT-4 Turbo z Vision API, możesz dowiedzieć się, jak zacząć tutaj.