Dzięki komputerom wyposażonym w sztuczną inteligencję specyfikacje wszystkich komputerów mogą wzrosnąć

Kluczowe dania na wynos

• Komputery AI wymagają znacznej ilości pamięci i pamięci masowej do lokalnego przetwarzania.
• Nowe komputery z wyspecjalizowanymi jednostkami NPU są niezbędne do obsługi funkcji sztucznej inteligencji, takich jak Copilot firmy Microsoft.
• 16 GB pamięci RAM to minimum dla komputerów ze sztuczną inteligencją, a 32 GB jest zalecane dla tych, którym zależy na funkcjach AI.

Nadeszła era „komputerów AI” i wkrótce będziesz mieć możliwość uruchamiania niektórych funkcji AI lokalnie, bez połączenia z Internetem, nawet na stosunkowo skromnych systemach. Jednak możesz nie zdawać sobie sprawy, że pomimo posiadania akceleratorów sztucznej inteligencji komputery te nadal będą potrzebować dużej ilości pamięci i pamięci masowej, aby oferować lokalne funkcje sztucznej inteligencji.

Komputery AI mają moc do lokalnego przetwarzania

Funkcja Copilot AI firmy Microsoft jest jednym z głównych powodów pojawienia się na rynku nowej generacji komputerów wyposażonych w wyspecjalizowane jednostki NPU (jednostki przetwarzania neuronowego). To jeden z powodów, dla których nowe urządzenia Surface Pro mają procesory ARM Snapdragon, które zwykle można znaleźć w telefonach. Obecnie minimalne wymagania dla komputera PC Copilot AI to jednostka NPU z 40 TOPS (biliardami operacji na sekundę) i właśnie to zawierają te nowe chipy.

Istnieje wiele powodów, dla których warto korzystać z lokalnych funkcji AI. Jest szybki, nie konkurujesz o zasoby z innymi użytkownikami i nie musisz płacić więcej niż koszt sprzętu. Zapewnienie swojemu laptopowi możliwości czegoś z tego samego kontinuum, co ChatGPT i jemu współczesne, jest zdecydowanie ekscytujące!

Nawet „małe” LLM są ogromne

Rzecz w tym, że te „modele” AI są dość duże. Najmniejsze i najbardziej wydajne modele LLM (modele dużego języka) mogą potrzebować 1-3 GB pamięci, choć nie są aż tak inteligentne. W miarę jak model zyskuje parametry i staje się coraz bardziej wydajny, potrzebuje coraz więcej miejsca. Rozmiary modeli superinteligentnych modułów LLM, do których można uzyskać dostęp przez Internet, mogą sięgać setek gigabajtów pamięci RAM. Mając setki miliardów, a w niektórych przypadkach nawet ponad bilion parametrów, te modele AI nie są przeznaczone do obsługi małych, kiepskich laptopów!

Następnie mamy wystarczająco małe moduły LLM, które można uruchomić na smartfonie, takie jak phi-3-mini o pojemności 2,4 GB. To bardziej odpowiada temu, co faktycznie będzie działać na laptopach ze sztuczną inteligencją, choć prawdopodobnie nie aż tak anemicznie!

Modele muszą żyć w pamięci RAM

Chociaż fakt, że model AI zajmuje kilka GB miejsca, może nie wydawać się wielkim problemem, należy zrozumieć, że cały model musi znajdować się w pamięci RAM, aby technologia działała z dobrą wydajnością. Te jednostki NPU to wyspecjalizowane procesory równoległe, które przetwarzają liczby w wirtualnych sieciach neuronowych. z miliardami „parametrów” jednocześnie.

Jeśli modelu nie ma w pamięci RAM, NPU nie może być zasilane wystarczająco szybko, aby zapewnić wystarczająco szybkie wyniki. miałoby to wpływ na szybkość odpowiedzi LLM lub funkcje takie jak tłumaczenie w czasie rzeczywistym lub generowanie obrazu. Jeśli więc chcesz, aby funkcje AI były dostępne po naciśnięciu przycisku lub po prostu za pomocą rozmowy z komputerem, model zasadniczo musi zarezerwować tyle pamięci RAM, ile potrzebuje.

Oczywiście wszystkie te nowe komputery są wyposażone w ultraszybkie dyski SSD, które mogą szybko przenosić dane do i z pamięci RAM, ale poza dodatkowym zużyciem dysku SSD, nadal nie jest on wystarczająco szybki, aby wszystko działało płynnie, i nie zapomnij, że nadal chcesz uruchamiać wszystkie inne aplikacje w tym samym czasie! Jeśli Twój komputer musiałby zrzucać przeglądarkę i inne aplikacje z pamięci RAM na dysk za każdym razem, gdy chcesz, aby sztuczna inteligencja coś zrobiła, nie byłoby to wspaniałe doświadczenie.

16 GB to absolutne minimum

Podczas gdy 8 GB pamięci RAM w zupełności wystarczy do nowoczesnego komputera stacjonarnego lub laptopa używanego do ogólnej produktywności i zużycia multimediów, komputery z systemem Windows i funkcjami sztucznej inteligencji po prostu nie poradzą sobie z tak małą ilością miejsca. Właśnie dlatego Microsoft uczynił 16 GB pamięci RAM absolutnym minimum dla komputerów Copilot.

Chociaż jest to rozsądna ilość w przypadku zwykłego komputera bez sztucznej inteligencji, mam wrażenie, że w przypadku komputerów, na których przez cały czas w tle działają lokalni asystenci AI, będzie to bardziej przypominać komputer PC z 8 GB pamięci i sztuczną inteligencją, chyba że wyłączysz część AI równanie.

Niektóre komputery AI nie będą miały pamięci RAM z możliwością rozbudowy

Jeśli Twój nowy komputer PC z systemem AI z systemem Windows korzysta ze zintegrowanego układu typu „system na chipie” lub ma wlutowaną na stałe pamięć RAM, jak ma to miejsce w przypadku wielu cienkich i lekkich laptopów, wówczas utkniesz z dowolną ilością pamięci RAM dostarczonej przez system z. Oznacza to, że musisz od razu zaopatrzyć się w odpowiednią ilość pamięci RAM, w przeciwnym razie będziesz potrzebować zupełnie nowego komputera, jeśli okaże się, że źle policzyłeś.

Jakiś czas temu sprawdzałem, czy 32 GB RAM-u to nie jest ilość, do której należy dążyć, i doszedłem do wniosku, że ta ilość pamięci nadal jest za duża dla przeciętnego użytkownika. Biorąc jednak pod uwagę przyszłe rozmiary modeli AI, uważam, że 32 GB powinno być tym, do czego powinien dążyć każdy, komu zależy na funkcjach AI.

Jeśli zależy Ci na sztucznej inteligencji, zdobądź więcej pamięci

To, czy zależy Ci na lokalnych funkcjach AI, jest oczywiście tutaj najważniejsze. Jeśli nie, to wspaniale, że te komputery Copilot zwiększają minimalną ilość pamięci RAM do 16 GB. Po prostu wyłącz lub zignoruj część równania związaną ze sztuczną inteligencją, a wszystko będzie dobrze. Tak naprawdę, jeśli nie masz jakiegoś istotnego alternatywnego powodu, pomiń całkowicie komputery AI i pozostań przy bardziej mainstreamowej opcji.

Jeśli z drugiej strony ekscytują Cię funkcje lokalnej sztucznej inteligencji i widzisz wiele sposobów wykorzystania tych narzędzi w przyszłości, nie zadowalaj się absolutnymi wymaganiami minimalnymi, chyba że będziesz mieć później możliwość dodania większej ilości pamięci RAM.