Apple zainscenizowało powrót sztucznej inteligencji, na który liczyliśmy - ale tutaj nadal wymaga pracy

Podczas konferencji WWDC 2024 firmy Apple przedstawiono technologię Apple Intelligence, integrującą zaawansowane możliwości sztucznej inteligencji w całym ekosystemie. Pomimo przełomowych funkcji wielu użytkowników będzie potrzebować nowych urządzeń, aby w pełni korzystać z możliwości.

Podczas WWDC 2024 Apple przedstawił platformę Apple Intelligence, która na pierwszy plan wysuwa generatywną sztuczną inteligencję (AI) i uczenie maszynowe. Platforma ta wykorzystuje duże modele językowe i generatywne do obsługi tekstu, obrazów i działań w aplikacji.

Ta inicjatywa integruje zaawansowane możliwości sztucznej inteligencji w całym ekosystemie Apple, aby przekształcić interakcję z urządzeniami. Jednak obecni użytkownicy iPhone'a i iPada mogą potrzebować aktualizacji swoich urządzeń, aby w pełni skorzystać z tych korzyści.

W poprzednim artykule zaleciłem Apple kilka kluczowych kroków, aby utrzymać konkurencyjność w wyścigu AI. Zobaczmy, jak zapowiedzi Apple odpowiadają tym zaleceniom i gdzie jest miejsce na ulepszenia.

Co Apple Intelligence wprowadzi na platformy systemów operacyjnych firmy

AI na urządzeniu i w chmurze

Apple Intelligence udostępnia zaawansowane modele generatywne na iPhone'a, iPada i Maca. Funkcje urządzenia wymagają chipa A17 Pro, co ogranicza je do użytkowników iPhone'a 15 Pro i Pro Max w celu zwiększenia bezpieczeństwa i prywatności. Podobnie kompatybilne będą tylko iPady z chipami z serii M (takie jak najnowszy iPad Air i iPad Pro) oraz komputery Mac z systemem Apple Silicon. Wielu użytkowników starszych urządzeń lub modeli innych niż Pro będzie przegapić te zaawansowane funkcje.

Do bardziej wymagających zadań Apple wprowadziło Private Cloud Compute (PCC), przełomowy system inteligencji w chmurze przeznaczony do przetwarzania prywatnej sztucznej inteligencji. PCC przenosi wiodące w branży zabezpieczenia i prywatność urządzeń Apple na chmurę, zapewniając, że osobiste dane użytkownika wysyłane do PCC nie będą dostępne dla nikogo poza nim - nawet dla Apple. Zbudowany na bazie niestandardowego Apple Silicon i wzmocnionego systemu operacyjnego zaprojektowanego z myślą o prywatności, PCC stanowi pokoleniowy krok w zakresie bezpieczeństwa obliczeniowego AI w chmurze.

Jeśli chodzi o infrastrukturę sztucznej inteligencji, Apple wprowadziło również modele Foundation Models, w tym model języka wbudowanego w urządzenie o wartości około 3 miliardów parametrów oraz większy model oparty na serwerze działający na serwerach Apple Silicon w centrach danych firmy. Modele te są precyzyjnie dostrojone do specjalistycznych zadań i zoptymalizowane pod kątem szybkości i wydajności.

Możliwość ulepszeń:Apple nie udało się utrzymać pozycji lidera w zakresie infrastruktury sztucznej inteligencji, nie ogłaszając urządzeń serwerowych z akceleracją sztucznej inteligencji na brzegu sieci, co umożliwiłoby urządzeniom o mniejszych możliwościach, takim jak podstawowy iPhone 15 i wcześniejsze modele obsługiwane przez iOS 18, aby korzystać z bardziej zaawansowanych funkcji Apple Intelligence. Chociaż hybrydowy model sztucznej inteligencji z obsługą rozwiązań on-device i PCC jest krokiem we właściwym kierunku, nie wspomniano o urządzeniach sieci brzegowych przyspieszanych przez sztuczną inteligencję w celu zwiększenia wydajności i zmniejszenia opóźnień. Apple zazwyczaj nie zapewnia przejrzystości w zakresie wdrażania zasobów w swoich centrach danych, dlatego może planować wdrożenie tych urządzeń na brzegu sieci bez ujawniania szczegółów. Choć krótka lista zasad odpowiedzialnej sztucznej inteligencji, którą firma tutaj udokumentowała, to dobry początek, oświadczenie dotyczące etycznego ujawniania informacji na temat sztucznej inteligencji na wzór działań firmy Adobe jeszcze bardziej wzmocniłoby zaufanie i przejrzystość.

Korzystanie z zewnętrznych dostawców sztucznej inteligencji

Apple zanurzyło się w integracji ChatGPT, wykazując chęć integracji usług innych firm i współpracy z wieloma dostawcami sztucznej inteligencji. Podczas przemówienia Apple oświadczył, że będzie współpracować w zakresie umożliwienia korzystania z dużych modeli językowych (LLM) innych firm oprócz OpenAI ChatGPT (bezpłatny, Plus i prawdopodobnie Enterprise), ale nie podał nazwy tych modeli. Potencjalne modele to między innymi Microsoft Copilot, Google Gemini, Meta Llama 3, Amazon Titan i Hugging Face.

Możliwość ulepszeń: chociaż zamiar Apple niestosowania się do LLM jest pozytywnym sygnałem dla strategii firmy w zakresie sztucznej inteligencji, liczyłem na szersze wykorzystanie platform stron trzecich, w szczególności w zakresie zdrowia, finansów i edukacji, z integracją AI. Jednak ta zmiana będzie musiała nastąpić, gdy programiści zastosują nowy SiriKit, App Intents, Core ML, Create ML i inne interfejsy API. Głębsza integracja z wyspecjalizowanymi dostawcami sztucznej inteligencji może znacznie zwiększyć funkcjonalność i wszechstronność Apple Intelligence.

Inteligentne powiadomienia i narzędzia do pisania

Inteligentne powiadomienia w systemach operacyjnych Apple będą wykorzystywać LLM na urządzeniu do przesiewania szumu i zapewniania, że dotrą tylko najważniejsze alerty. Jest to część nowego fokusu dotyczącego ograniczenia przerw, który pokazuje użytkownikom najważniejsze szczegóły każdego powiadomienia. Ogólnosystemowe narzędzia do pisania umożliwiają pisanie, poprawianie i podsumowywanie tekstu dla użytkowników, od krótkich wiadomości po długie posty na blogu, a funkcja Przepisz zapewnia wiele wersji tekstu w zależności od docelowej grupy odbiorców.

Możliwość ulepszeń: w oparciu o nacisk na ograniczenie przerw w działaniu korzystny byłby dalszy rozwój funkcji proaktywnej pomocy, które przewidują potrzeby użytkownika na podstawie przeszłych zachowań i kontekstu.

Generowanie obrazu AI i Genmoji

Apple otworzyło świat kreatywnych możliwości, integrując API Image Playground ze wszystkimi aplikacjami. Użytkownicy mogą tworzyć obrazy generowane przez sztuczną inteligencję w trzech stylach: szkic, animacja i realizm. Wyobraź sobie, że tworzysz i udostępniasz te obrazy bezpośrednio w Wiadomościach lub Stronach — to zmienia zasady gry. W programie Notes nowe narzędzie Różdżka obrazów może generować obrazy na podstawie bieżącej zawartości strony. Genmoji umożliwia użytkownikom tworzenie niestandardowych emoji, dodając spersonalizowany charakter komunikacji.

Możliwość ulepszeń: zapewnienie bardziej szczegółowej kontroli i opcji dostosowywania generowanych obrazów i Genmoji, takich jak dostrajanie stylów i atrybutów, mogłoby zaspokoić bardziej szczegółowe preferencje użytkownika. Dodatkowo wdrożenie funkcji sugerujących ulepszenia obrazu lub tworzenie emoji na podstawie aktywności użytkownika i kontekstu może jeszcze bardziej usprawnić proces twórczy.

Ulepszona Siri i automatyzacja zadań

Siri, asystent głosowy, którego poznaliśmy i tolerujemy, w końcu otrzymuje bardzo potrzebną aktualizację. Dzięki zaawansowanemu przetwarzaniu języka naturalnego (NLP) Siri może zrozumieć użytkowników, nawet jeśli się jąkają, i zachować kontekst konwersacji, dzięki czemu interakcje są bardziej płynne i intuicyjne. Możesz teraz pisać żądania do Siri - funkcja, która z pewnością sprawdzi się w hałaśliwym otoczeniu. Nowy wygląd Siri, z lekkim zawijaniem krawędzi ekranu po dotknięciu, dodaje nowoczesnego akcentu.

Ulepszona świadomość kontekstowa Siri pozwala na obsługę zadań, takich jak wyszukiwanie określonych zdjęć, odtwarzanie podcastów i odzyskiwanie udostępnionych plików na podstawie poleceń użytkownika. Asystent może pobrać ze zdjęcia informacje z prawa jazdy i wprowadzić je do formularza. W Zdjęciach sztuczna inteligencja może używać NLP do wyszukiwania określonych zdjęć lub klipów wideo i usuwania rozpraszających obiektów za pomocą nowego narzędzia Oczyszczanie.

Nowa funkcja Zmniejsz liczbę przerw gwarantuje, że na podstawie Twojej aktywności dotrą tylko najważniejsze powiadomienia. Optymalizacja pisma ręcznego (Smart Script) i interpretacja matematyczna na iPadzie ułatwiają pisanie równań za pomocą Apple Pencil i ich rozwiązywanie za pomocą aplikacji Kalkulator. W Notatkach narzędzie Image Wand przekształca wstępne szkice w dopracowane obrazy, a także umożliwia nagrywanie i transkrypcję dźwięku za pomocą podsumowań tekstowych generowanych przez Apple Intelligence. Narzędzie do czyszczenia usuwa niechciane obiekty w Zdjęciach, a Wyszukiwanie w Wideo pomaga znaleźć określone fragmenty.

Apple Intelligence wykonuje także działania w aplikacjach w imieniu użytkownika. Może otwierać Zdjęcia i wyświetlać obrazy określonych grup na żądanie. W Mail wiadomości priorytetowe są wyróżnione podsumowaniami, co ułatwia ich szybki wgląd. Użytkownicy programu Notes mogą nagrywać, transkrybować i podsumowywać dźwięk, tworząc podsumowujące transkrypcje rozmów z automatycznymi powiadomieniami dla uczestników.

Możliwość ulepszeń: chociaż firma Apple poczyniła znaczne postępy, przyszłe aktualizacje mogą jeszcze bardziej zwiększyć możliwości Siri, zautomatyzować bardziej złożone zadania i zapewnić głębszą personalizację w całym ekosystemie Apple.

Możliwości sztucznej inteligencji w produktach Apple

Na koniec, główną rekomendacją było zwiększenie możliwości sztucznej inteligencji we wszystkich produktach Apple, w tym Siri, Apple Music, Apple News, Health, Fitness+, TV i HomeKit. Chociaż funkcje sztucznej inteligencji Apple są zintegrowane na różnych urządzeniach, konkretne ulepszenia usług takich jak Apple Music i HomeKit były ograniczone, przynajmniej zgodnie z przemówieniem WWDC.

Co można ulepszyć: Nie słyszeliśmy też nic o HomePod ani Apple TV z technologią Apple Intelligence, chociaż żaden z tych produktów nie ma mocy obliczeniowej umożliwiającej generatywną sztuczną inteligencję na urządzeniu. Podobnie nie było wzmianek o nowych możliwościach AI w WatchOS. Chociaż urządzenia te mogą być w stanie korzystać z niektórych możliwości Apple Intelligence w chmurze, nie zostało to poruszone w przemówieniu przewodnim. Dodatkowo, dzięki chipowi M2, Vision Pro jest wystarczająco mocny, aby obsługiwać funkcje Apple Intelligence na urządzeniu. Mimo to w przemówieniu nie omówiono, co konkretnie pojawi się w tym urządzeniu.

Historia dewelopera

Podczas konferencji WWDC 2024 Apple dokłada wszelkich starań, aby zapewnić programistom narzędzia i interfejsy API, których potrzebują, aby uwolnić pełny potencjał Apple Intelligence, poprzez szeroki zakres sesji dla programistów, podkreślając zaangażowanie Apple we wspieranie tętniącego życiem ekosystemu rozwoju sztucznej inteligencji.

Podczas tych sesji szczegółowo omówimy optymalizację i wdrażanie modeli uczenia maszynowego w systemach iOS, iPadOS i MacOS. Celem jest wyposażenie programistów w wiedzę pozwalającą wykorzystać zaawansowane możliwości sztucznej inteligencji Apple.

Jedną z wyróżniających się funkcji jest oczywiście ulepszona Siri. Programiści dowiedzą się, jak integrować swoje aplikacje z SiriKit, korzystając z ulepszonego NLP, aby tworzyć bardziej płynne i intuicyjne interakcje z użytkownikiem. Kluczowym obszarem zainteresowania będą także intencje aplikacji, umożliwiające programistom udostępnianie podstawowych funkcji aplikacji bezpośrednio użytkownikom za pośrednictwem Siri i innych usług systemowych.

Pod przewodnictwem Apple Silicon sesje będą poświęcone optymalizacji modeli uczenia maszynowego i sztucznej inteligencji specjalnie dla tych potężnych chipów. Ta zawartość obejmuje wdrażanie modeli za pomocą Core ML i obsługę wnioskowania ML w czasie rzeczywistym na procesorze. Omówione zostaną także aktualizacje narzędzia Create ML, skupiające się na wydajniejszych i skuteczniejszych modelach szkoleniowych.

Kolejną ważną atrakcją będą nowe narzędzia do pisania firmy Apple, które umożliwiają korektę, podsumowywanie i przepisywanie tekstu. Programiści dowiedzą się, jak włączyć te narzędzia do swoich aplikacji, oferując użytkownikom zaawansowane funkcje manipulacji tekstem.

Zbadany zostanie również kreatywny potencjał Genmoji w ramach sesji poświęconych generowaniu niestandardowych emoji w celu zwiększenia zaangażowania użytkowników i personalizacji.

Apple przesuwa granice wydajności dzięki sesjom poświęconym przyspieszaniu zadań uczenia maszynowego przy użyciu Metal, platformy graficznej Apple. Programiści odkryją także nowe możliwości w ramach Swift i frameworku Vision, kluczowe dla integracji zaawansowanych funkcji rozpoznawania obrazów.

Wreszcie zostanie zaprezentowany nowy interfejs API tłumaczeń. Pomoże programistom w tworzeniu aplikacji, które płynnie tłumaczą tekst i mowę, dzięki czemu aplikacje będą bardziej włączające i dostępne.

Wyposażając programistów w te zasoby, Apple gwarantuje, że potencjał Apple Intelligence będzie mógł zostać w pełni wykorzystany w całym ekosystemie, stymulując innowacje i poprawiając doświadczenia użytkowników.

Czy Apple posunął się wystarczająco daleko, wprowadzając ulepszenia sztucznej inteligencji?

Pomimo ekscytujących zapowiedzi nadal istnieją pewne luki. Apple wprowadziło nowe interfejsy API i ulepszenia, a nadchodzące sesje programistów zapewnią niezbędne narzędzia, frameworki i szkolenia. Stracono jednak szansę na szerszą integrację ze stronami trzecimi, szczególnie w kluczowych obszarach, takich jak zdrowie i finanse. Po tym, jak deweloperzy wykończą Apple Intelligence tej jesieni, tych integracji można się spodziewać później, po wydaniu iOS 18.

Chociaż sugerowano ulepszenia usług Apple, takich jak Apple Music, Wiadomości, Zdrowie, Fitness+ i HomeKit, nie zostały one szczegółowo omówione. Oczekujemy, że te szczegóły pojawią się w późniejszych wersjach beta systemu iOS 18.

Ogłoszenia Apple dotyczące WWDC 2024 są zgodne z kilkoma kluczowymi zaleceniami, ale brakuje im szerszej integracji z firmami zewnętrznymi, proaktywnej pomocy i etycznych praktyk związanych ze sztuczną inteligencją. Jednak obszerne sesje programistów zaplanowane na konferencję sugerują, że Apple poważnie podchodzi do wyposażenia programistów w narzędzia i wiedzę potrzebną do korzystania z nowych możliwości sztucznej inteligencji.

Wyeliminowanie pozostałych luk mogłoby poprawić pozycję konkurencyjną Apple w wyścigu AI, zapewniając solidniejszy i bardziej zorientowany na użytkownika ekosystem AI. Kontynuując innowacje i udoskonalenia w tych obszarach, Apple może wyznaczać nowe standardy i przewodzić przyszłości technologii opartej na sztucznej inteligencji.