Nowy model AI Apple może zrozumieć Twój ekran główny i doładować Siri
Poznaj Ferret-UI, wielomodalny model wielojęzyczny, który potrafi zrozumieć elementy na ekranie głównym i potencjalnie pomóc Siri w wykonywaniu zadań za Ciebie.
Pomimo tego, że od początku szału na generatywną sztuczną inteligencję nie wprowadzano żadnych modeli sztucznej inteligencji, Apple pracuje nad niektórymi projektami związanymi ze sztuczną inteligencją. Nie dalej jak w zeszłym tygodniu badacze Apple udostępnili artykuł przedstawiający nowy model językowy, nad którym pracuje firma, a poufne źródła podały, że Apple pracuje nad dwoma robotami napędzanymi sztuczną inteligencją. Teraz publikacja kolejnego artykułu badawczego pokazuje, że Apple dopiero zaczyna.
W poniedziałek badacze Apple opublikowali artykuł badawczy przedstawiający Ferret-UI, nowy multimodalny model dużego języka (MLLM), który potrafi zrozumieć ekrany mobilnego interfejsu użytkownika (UI).
MLLM różnią się od standardowych LLM tym, że wykraczają poza tekst i wykazują głębokie zrozumienie elementów multimodalnych, takich jak obrazy i dźwięk. W tym przypadku Ferret-UI jest przeszkolony w rozpoznawaniu różnych elementów ekranu głównego użytkownika, takich jak ikony aplikacji i mały tekst.
Identyfikowanie elementów ekranu aplikacji było w przeszłości wyzwaniem dla przedsiębiorstw MLLM ze względu na ich niewielki charakter. Aby rozwiązać ten problem, według artykułu, naukowcy dodali do Ferreta „dowolną rozdzielczość”, co pozwala mu powiększać szczegóły na ekranie.
Opierając się na tym, MLLM firmy Apple ma także „możliwości odwoływania się, uziemiania i wnioskowania”, które pozwalają Ferret-UI w pełni rozumieć ekrany interfejsu użytkownika i wykonywać zadania po otrzymaniu instrukcji na podstawie zawartości ekranu, jak wynika z artykułu, jak widać w artykule zdjęcie poniżej.
Aby zmierzyć wydajność modelu w porównaniu z innymi MLLM, badacze Apple porównali Ferret-UI z GPT-4V, MLLM OpenAI, w publicznych testach porównawczych, zadaniach podstawowych i zadaniach zaawansowanych.
Ferret-UI przewyższał GPT-4V w prawie wszystkich zadaniach w kategorii podstawowej, w tym w rozpoznawaniu ikon, OCR, klasyfikacji widżetów, znajdowaniu ikon i znajdowaniu zadań widżetów na iPhonie i Androidzie. Jedynym wyjątkiem było zadanie „znajdź tekst” na iPhonie, gdzie GPT-4V nieznacznie przewyższyło modele Ferret, co widać na poniższym wykresie.
Jeśli chodzi o uziemienie rozmów na temat ustaleń interfejsu użytkownika, GPT-4V ma niewielką przewagę, przewyższając Ferret 93,4% do 91,7%. Naukowcy zauważają jednak, że wydajność Ferret UI jest nadal „godna uwagi”, ponieważ generuje surowe współrzędne zamiast zestawu predefiniowanych pól, z których wybiera GPT-4V. Poniżej znajdziesz przykład.
W artykule nie omówiono, do czego Apple planuje wykorzystać tę technologię i czy w ogóle to zrobi. Zamiast tego badacze szerzej stwierdzają, że zaawansowane możliwości Ferret-UI mogą potencjalnie pozytywnie wpłynąć na aplikacje związane z interfejsem użytkownika.
„Pojawienie się tych ulepszonych możliwości zapowiada znaczny postęp w wielu dalszych aplikacjach interfejsu użytkownika, wzmacniając w ten sposób potencjalne korzyści, jakie zapewnia Ferret-UI w tej dziedzinie” - napisali naukowcy.
Sposób, w jaki Ferret-UI może ulepszyć Siri, jest oczywisty. Dzięki dogłębnej znajomości ekranu aplikacji użytkownika i wiedzy na temat wykonywania określonych zadań, interfejs Ferret-UI może zostać wykorzystany do wzmocnienia Siri w celu wykonywania zadań za Ciebie.
Z pewnością istnieje zainteresowanie asystentem, który potrafi więcej niż tylko odpowiada na zapytania. Nowe gadżety AI, takie jak Rabbit R1, przyciągają wiele uwagi, ponieważ mogą wykonać za Ciebie całe zadanie, takie jak rezerwacja lotu lub zamówienie posiłku, bez konieczności instruowania ich krok po kroku.