Jak uruchomić dziesiątki modeli AI na komputerze Mac lub PC — nie jest wymagana żadna chmura innej firmy

Uruchamianie zaawansowanych programów LLM, takich jak Meta's Llama 3.1, na komputerze Mac, Windows lub Linux zapewnia prywatność danych, dostosowywanie i oszczędności. Oto jak to zrobić.

Wraz z szybkim postępem w sztucznej inteligencji (AI), uruchamianie wyrafinowanych modeli, takich jak Meta's Llama 3.1 lokalnie na komputerach osobistych, staje się coraz bardziej popularne. Uruchamianie LLM na lokalnym komputerze PC lub Mac zapewnia piaskownicę do eksperymentowania i programowania bez narażania prywatności danych i pozwala na większą elastyczność w korzystaniu z modelu.

Oto krótki przewodnik, który pomoże Ci skonfigurować i uruchomić Llamę 3.1 - a także wiele innych modeli, takich jak Google Gemma2 - na komputerach Mac, Linux i Windows. Omówię także zalety modeli hostowanych prywatnie.

Po co opracowywać i testować różne modele open source?

Lama 3.1 8b działająca na Ollama/Open WebUI

Tworzenie i testowanie różnych modeli open source, które prywatnie hostujesz i uruchamiasz, ma kilka zalet w porównaniu z poleganiem wyłącznie na publicznie hostowanych dużych modelach językowych (LLM) od dostawców takich jak OpenAI, Microsoft CoPilot, Meta AI i Google Gemini.

Prywatność danych: publicznie hostowane programy LLM wymagają przesyłania danych przez Internet, co może budzić obawy dotyczące prywatności i bezpieczeństwa. Lokalne uruchamianie modeli gwarantuje, że wrażliwe dane pozostaną na Twoim sprzęcie.

Dostosowywanie: modele typu open source umożliwiają większą personalizację. Programiści mogą dostrajać modele, dostosowywać hiperparametry i modyfikować architekturę, aby lepiej odpowiadała konkretnym przypadkom użycia.

Kontrola kosztów: usługi AI oparte na chmurze mogą być kosztowne, szczególnie w przypadku zastosowań na dużą skalę. Modele hostingu lokalnie mogą znacznie zmniejszyć bieżące wydatki na wykorzystanie API i transfer danych.

Możliwość pracy w trybie offline: modeli lokalnych można używać bez połączenia z Internetem, co jest niezbędne w przypadku zastosowań wymagających wysokiej dostępności lub na obszarach o zawodnym dostępie do Internetu.

Elastyczność i eksperymentowanie: hostowanie własnych modeli umożliwia eksperymentowanie z różnymi algorytmami i konfiguracjami, co prowadzi do innowacyjnych rozwiązań i głębszego zrozumienia technologii sztucznej inteligencji.

Wolność od zasad użytkowania: lokalne uruchamianie LLM oznacza, że zasady użytkowania takich firm jak OpenAI, Microsoft, Meta i Google Cię nie ograniczają. Możesz używać dowolnych podpowiedzi i wykorzystywać zmodyfikowane LLM ze zniesionymi ograniczeniami, przeszkolone na danych, które te usługi mogą ograniczać.

Wprowadzenie do Ollamy

Ollama to wszechstronna platforma typu open source z licencją MIT, zaprojektowana, aby pomóc programistom i badaczom w łatwym uruchamianiu modeli uczenia maszynowego i zarządzaniu nimi lokalnie na ich własnym sprzęcie. Został opracowany przez zespół entuzjastów i inżynierów AI, których celem jest zapewnienie narzędzi zapewniających prywatność danych, elastyczność i kontrolę nad aplikacjami AI. Ollama obsługuje różne modele sztucznej inteligencji, co czyni ją cennym źródłem informacji dla osób chcących odkrywać i wykorzystywać technologie sztucznej inteligencji bez polegania na usługach chmurowych stron trzecich.

Oto kilka przykładowych modeli, które można pobrać:

Według strony Ollama w GitHubie powinno być dostępne co najmniej 8 GB pamięci RAM do uruchomienia modeli 7B, 16 GB do uruchomienia modeli 13B i 32 GB do uruchomienia modeli 33B.

Nasze systemy testowe

Testowałem Ollamę na komputerach Mac M1 Pro i M1 Ultra z 32 GB i 64 GB pamięci RAM, które są o kilka pokoleń w tyle za obecnymi modelami MacBooka Pro. Mimo to, korzystając wyłącznie ze wsparcia procesora, z powodzeniem uruchomiliśmy modele parametrów 8B-10B programów Meta Llama 3.1 i Google Gemma2, a także różne specjalnie przeszkolone warianty ze strony internetowej Ollama, z wydajnością lepszą niż akceptowalna.

Jednakże doświadczyłem znacznych problemów z wydajnością w przypadku wariantu z parametrem 70B przy użyciu tych systemów. Jestem pewien, że nowszy sprzęt poradzi sobie z tymi modelami jeszcze wydajniej, szczególnie w przypadku komputerów z systemem Linux i procesorami graficznymi Nvidia i AMD.

Konfiguracja krok po kroku

Pobierz i zainstaluj Ollamę

• Przejdź do strony pobierania Ollama i pobierz instalator odpowiedni dla Twojego systemu operacyjnego (MacOS, Linux, Windows).
• Postępuj zgodnie z dostarczonymi instrukcjami instalacji dla konkretnego systemu operacyjnego.

Załaduj parametr 8B Lama 3.1 Model

Interfejs wiersza poleceń Ollama z funkcją czatu.

• Przejdź do strony biblioteki Llama 3.1 w aplikacji Ollama i skopiuj polecenie umożliwiające załadowanie modelu 8B Lama 3.1: ollama run llama3.1:8b
• Otwórz terminal (MacOS, Linux) lub wiersz poleceń/PowerShell (Windows), wklej powyższe polecenie i naciśnij .
• To polecenie uruchomi Llamę 3.1. W terminalu możesz następnie wysyłać zapytania do modelu na czacie, aby przetestować jego funkcjonalność.

Zarządzaj zainstalowanymi modelami

• Wyświetl listę modeli: użyj polecenia ollama list, aby wyświetlić wszystkie modele zainstalowane w systemie.
• Usuń modele: aby usunąć model, użyj polecenia ollama rm . Na przykład, aby usunąć parametr 8B Lama 3.1, użyj ollama rm llama3.1:8b
• Dodaj nowe modele: aby dodać nowy model, przejrzyj bibliotekę Ollama, a następnie użyj odpowiedniego polecenia ollama run , aby załadować go do swojego systemu.

Dodanie interfejsu WWW

Zainstaluj Pulpit Dockera

• Odwiedź stronę Docker Wprowadzenie i pobierz Docker Desktop dla swojego systemu operacyjnego (MacOS, Linux, Windows).
• Postępuj zgodnie z instrukcjami instalacji dla konkretnego systemu operacyjnego i uruchom Docker po instalacji.

Zainstaluj otwarty interfejs WebUI

Otwórz terminal (MacOS, Linux) lub wiersz poleceń/PowerShell (Windows) i uruchom następujące polecenie, aby zainstalować Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker .internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restartuj zawsze ghcr.io/open-webui/open-webui:main

Uzyskaj dostęp do otwartego interfejsu internetowego

Otwórz interfejs WebUI działający na pulpicie Docker

• Otwórz Docker Desktop i przejdź do pulpitu nawigacyjnego.
• Znajdź kontener Open WebUI i kliknij łącze w obszarze Port, aby otworzyć interfejs WebUI w przeglądarce.

Utwórz i zaloguj się do swojego konta Open WebUI

Wybór modelu w Open WebUI

• Jeśli nie masz jeszcze konta Open WebUI, utwórz je.
• Zaloguj się na swoje konto poprzez WebUI.

Integracja z IDE i API

Ollamę można zintegrować z różnymi zintegrowanymi środowiskami programistycznymi (IDE) za pomocą interfejsów API, co usprawnia przepływ pracy programistycznej, zapewniając płynną interakcję z modelami AI. Jednym z potężnych narzędzi do tej integracji jest Kontynuuj, asystent kodu typu open source, który wykorzystuje interfejs API Ollama.

Używanie opcji Kontynuuj do integracji z IDE

• Upewnij się, że Ollama działa i jest dostępna.
• Postępuj zgodnie z instrukcjami na blogu Ollama Kontynuuj, aby zainstalować opcję Kontynuuj w preferowanym środowisku IDE.
• Dzięki programowi Continuous i interfejsowi API Ollama możesz bezpośrednio korzystać z funkcji opartych na sztucznej inteligencji, takich jak sugestie dotyczące kodu, uzupełnianie i pomoc w debugowaniu w swoim środowisku programistycznym.

Skalowanie w górę dzięki wydajnym procesorom graficznym

W przypadku bardziej wymagających aplikacji, szczególnie tych wymagających większych modeli, takich jak modele Llama 3.1 z parametrami 70B i 405B, zalecane jest uruchomienie Ollama w systemie opartym na systemie Linux wyposażonym w wydajne procesory graficzne. Taka konfiguracja może obsłużyć obciążenie obliczeniowe i zapewnić krótszy czas reakcji, dzięki czemu nadaje się do zastosowań AI na poziomie przedsiębiorstwa.

Aby użyć procesorów graficznych do uruchomienia Ollama, wykonaj następujące kroki:

W przypadku procesorów graficznych NVIDIA:

• Postępuj zgodnie z instrukcjami dokumentacji NVIDIA CUDA, aby zainstalować CUDA i cuDNN w swoim systemie.
• Po zainstalowaniu CUDA i cuDNN upewnij się, że środowisko jest poprawnie skonfigurowane, a następnie uruchom następujące polecenie:
  ollama run llama3.1:70b --use-gpu
  

Dla procesorów graficznych AMD:

• Postępuj zgodnie z instrukcjami zawartymi w dokumentacji ROCm, aby zainstalować ROCm w swoim systemie.
• Po zainstalowaniu ROCm upewnij się, że środowisko jest poprawnie skonfigurowane, a następnie uruchom następujące polecenie:
  ollama run llama3.1:70b --use-gpu
  

Polecenia te zapewniają, że Ollama może wykorzystać dostępne procesory graficzne w systemie, zapewniając moc obliczeniową niezbędną do uruchamiania dużych modeli. Bardziej szczegółowe instrukcje można znaleźć w dokumentacji procesora graficznego Ollama.

Uruchamianie Ollama w kontenerze Docker

Nadal możesz korzystać ze wsparcia GPU, jeśli wolisz uruchamiać Ollamę w kontenerze. Pamiętaj, że te instrukcje dotyczą obecnie tylko systemu Linux.

Dla procesorów graficznych NVIDIA z Dockerem

• Zgodnie z poprzednią sekcją, zainstaluj CUDA i cuDNN w swoim systemie. Następnie postępuj zgodnie z instrukcjami zawartymi w dokumentacji NVIDIA Docker, aby zainstalować NVIDIA Container Engine w swoim systemie.
• Użyj następującego polecenia, aby uruchomić Ollamę z obsługą procesora graficznego NVIDIA w kontenerze Docker:
  docker run --gpus all -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v ollama:/app/backend/data --name ollama --restartuj zawsze ollama/ollama:najnowsze
  

Dla procesorów graficznych AMD z Dockerem

• Postępuj zgodnie z instrukcjami zawartymi w dokumentacji ROCm, aby zainstalować ROCm w swoim systemie.
• Użyj następującego polecenia, aby uruchomić Ollamę z obsługą ROCm w kontenerze Docker:
  docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --nazwisko ollama ollama/ollama:rocm
  

Polecenia te zapewniają, że kontener Docker może uzyskać dostęp do wszystkich dostępnych procesorów graficznych w systemie, zapewniając moc obliczeniową niezbędną do uruchamiania dużych modeli. Więcej informacji na temat używania procesorów graficznych z platformą Docker i Ollama można znaleźć na stronie Dockera poświęconej używaniu procesorów graficznych z platformą Ollama.

Wniosek

Uruchamianie modeli AI, takich jak Meta's Llama 3.1, lokalnie na komputerze Mac lub PC zapewnia liczne korzyści, w tym lepszą prywatność danych, większą personalizację i oszczędności. Postępując zgodnie z instrukcjami zawartymi w tym przewodniku, możesz wykorzystać zaawansowane modele AI i przetestować różne konfiguracje, aby spełnić Twoje wymagania. Niezależnie od tego, czy jesteś programistą, badaczem czy entuzjastą sztucznej inteligencji, możliwość lokalnego uruchamiania złożonych modeli otwiera wiele możliwości.