Oto jak zainstalować własnego, nieocenzurowanego lokalnego chatbota podobnego do GPT

Kluczowe dania na wynos

• Zachowaj prywatność danych, używając GPT4All do nieocenzurowanych odpowiedzi.
• Pobranie jest łatwe, ale upewnij się, że masz wystarczająco dużo miejsca.
• Efektywnie uruchamiaj lokalnego chatbota, aktualizując modele i kategoryzując dokumenty.

Sztuczna inteligencja jest doskonałym narzędziem dla wielu osób, jednak istnieją pewne ograniczenia dotyczące darmowych modeli, które utrudniają korzystanie z nich w niektórych kontekstach. Oto prosty sposób na zainstalowanie wolnego od cenzury Chatbota podobnego do GPT na komputerze lokalnym.

Dlaczego zdecydowałem się na lokalnego bota podobnego do GPT

Używam ChatGPT od jakiegoś czasu, a nawet stworzyłem wcześniej całą grę zakodowaną za pomocą tego silnika. Jednakże w tej wersji użyłem silnika GPT dostępnego wyłącznie w trybie online i zdałem sobie sprawę, że jego reakcje były nieco ograniczone. Szukając rozwiązania dla przyszłych projektów, natknąłem się na GPT4All, projekt GitHub z kodem do prywatnego uruchamiania LLM na twoim komputerze domowym. Zdecydowałem się go zainstalować z kilku powodów, przede wszystkim:

• Moje dane pozostają prywatne, więc nie muszę się martwić, że OpenAI zbierze jakiekolwiek dane, których używam w modelu.
• Odpowiedzi nie są filtrowane według wytycznych OpenAI dotyczących cenzury.
• Mogę korzystać z lokalnego LLM z dokumentami osobistymi, aby udzielać mi bardziej dostosowanych odpowiedzi w oparciu o sposób pisania i myślenia.
• Jeśli zostanę rozłączony, nadal mam LLM na mojej lokalnej maszynie, którego mogę używać do wszystkiego, czego potrzebuję.

Jeśli jesteś podobny do mnie i chcesz mieć lokalną wersję swojego ulubionego LLM, która sama się nie cenzuruje, oto opis, jak to zrobić.

Pobierz GPT4All

Rozpoczęcie pracy jest tak proste, jak pobranie pakietu ze strony szybkiego startu GPT4All. Pobieranie pakietu jest proste, a instalacja prosta. Pamiętaj tylko, że będziesz potrzebować około 1 GB miejsca na aplikację podstawową bez żadnego z modeli. Po wybraniu lokalizacji instalacji będziesz musiał poczekać, aż repozytorium pobierze wszystkie pliki.

Dzięki temu, jak Nomic wykonał rozwój, instalacja będzie działać na najpopularniejszych systemach operacyjnych. W witrynie szybkiego startu dostępne są dystrybucje dla systemów Windows, Linux i macOS. Jedyne, na co należy zwrócić uwagę przed instalacją, to wymagana przestrzeń.

Uruchamiam GPT4All

Po zakończeniu instalacji uruchomienie GPT4All jest tak proste, jak wyszukanie aplikacji. Uruchomienie go podpowiada nam kilka opcji, takich jak podanie lokalnych dokumentów lub rozmowa z modelem pokładowym. Po lewej stronie okna możemy uzyskać dostęp do innych czatów, które prowadziliśmy wcześniej i sprawdzić lokalne dokumenty, których użyliśmy do aktualizacji naszego lokalnego chatbota AI. Najważniejszą rzeczą, jaką tu masz, jest jednak zakładka modele.

Domyślnie zaczynasz bez zainstalowanych żadnych modeli, ale szybko zorientujesz się, że masz dostęp do szerokiej gamy modeli, które możesz pobrać i używać całkowicie za darmo. Przyjrzyjmy się, jak zaktualizować tego pustego chatbota w coś naprawdę spektakularnego.

Pobieranie nowych modeli dla lokalnego chatbota

Zakładka modele w lewym górnym rogu ekranu otworzy obszar umożliwiający przeglądanie dostępnych modeli. Każdy z modeli będzie miał deskryptor informujący o tym, co oferuje dany model i do czego jest przeznaczony. Daje to także wyobrażenie o rozmiarze (od 2 GB aż do aż 7 GB miejsca), jakiego będziesz potrzebować do instalacji modelu.

Ponieważ wybieramy kompletny model offline, sugeruję użycie modelu Mistral (znanego z HuggingChat). Dlaczego należy unikać używania rzeczywistego ChatGPT? Rozpakujmy powody.

Po pierwsze, ChatGPT 4 wymaga klucza dostępu API, za który trzeba zapłacić. Model 3.5 jest dostępny bezpłatnie, jednak zakres jego przetwarzania jest ograniczony. GPT4All pozwala również użytkownikom wykorzystać możliwości dostępu API, ale znowu może to wiązać się z wysyłaniem przez model monitujących danych do OpenAI. Dokumenty lokalne będą dostępne tylko dla Ciebie. OpenAI twierdzi, że żadne dane, które zbiera za pośrednictwem API, nie zostaną wykorzystane do szkolenia LLM, ale jedyną gwarancją, jaką masz, jest słowo firmy.

Mimo że ChatGPT jest jednym z najbardziej znanych chatbotów, nie jest to jedyny dostępny silnik AI. Ze względu na ogromną wszechstronność dostępnych modeli, nie jesteś ograniczony do używania ChatGPT dla swojego lokalnego chatbota podobnego do GPT.

Modele takie jak Llama3 Instruct, Mistral i Orca nie zbierają Twoich danych i często zapewniają wysokiej jakości odpowiedzi. W oparciu o Twoje preferencje te modele mogą być lepszą opcją niż ChatGPT. Najlepiej poeksperymentować i określić, które modele odpowiadają Twoim potrzebom. Pamiętaj, że nadal będziesz potrzebować miejsca do przechowywania modelu, więc nie przechowuj kilku modeli na komputerze, jeśli używasz tylko jednego.

Skonfiguruj dostęp do dokumentów lokalnych

Jeśli planujesz używać lokalnego chatbota do pomocy w tworzeniu dokumentów lub udzielania wskazówek w innych sprawach, musisz najpierw skonfigurować zbiór dokumentów. Na szczęście dzięki GPT4All jest to proste. Po prostu umieść wszystkie dokumenty, do których model ma mieć dostęp, w łatwo dostępnym folderze i wskaż silnikowi folder za pomocą przycisku „Dodaj kolekcję”. Czas przetwarzania będzie się różnić w zależności od ilości dokumentów znajdujących się w folderze, ale nie powinien trwać zbyt długo.

Po dodaniu lokalnego folderu dokumentów Twój chatbot będzie mógł uzyskać dostęp do dokumentów i je przeczytać, a także doradzić Ci we wszystkim, o co go poprosisz. Jest to bardzo przydatne, jeśli chcesz dowiedzieć się czegoś na konkretny temat, ale nie masz czasu na przekopywanie się przez encyklopedię książek. O wiele efektywniej jest rozmawiać z treścią i uzyskać z niej to, czego chcesz.

Wskazówki dotyczące efektywnego korzystania z lokalnego chatbota

Chatboty są tylko na tyle przydatne, na ile je stworzysz. Odkryłem, że jest kilka rzeczy, które nowi użytkownicy chatbota offline powinni wiedzieć.

Jedną z najważniejszych rzeczy, o których jeszcze nie wspomniałem, jest to, że GPT4All działa na minimum 8 GB RAM-u. Chociaż możesz spróbować uruchomić bota na mniejszym poziomie, zdecydowanie nie jest to zalecane.

Możesz budować indywidualne kolekcje dla różnych kategorii dokumentów. Na przykład, jeśli masz zestaw dokumentów, których używasz w zwykłym projekcie i taki, którego używasz zawodowo, bot może opracować dwa style odpowiedzi w zależności od potrzeb. Każdy zbiór dokumentów można przetwarzać indywidualnie, aby uniknąć nakładania się.

Na koniec pamiętaj o aktualizowaniu swoich modeli.

Co jakiś czas powinieneś sprawdzić, czy są zaktualizowane modele, aby efektywniej korzystać z chatbota. Nowsze modele mogą również zawierać zaktualizowane przypadki użycia, więc przeczytanie informacji o wersji pomoże Ci dostosować je do tego, czego chcesz. Pamiętaj, że jeśli używasz nowego modelu, będziesz musiał ponownie przetworzyć dokumenty przy użyciu tego modelu. Nie ma wstecznej kompatybilności ze starszymi modelami.

Dobre narzędzie do różnorodnych sytuacji

Chatboty mogą być skutecznym sposobem na przyspieszenie nauki lub pomóc w kreatywnych przedsięwzięciach, takich jak pisanie powieści. Jednak nadal są to tylko narzędzia i są tak dobre, jak dane, na których pracują, oraz modele, które je przetwarzają. Posiadanie lokalnego chatbota daje Ci możliwość kontrolowania danych, do których bot ma dostęp i z których się uczy. Zapewnia również bardziej szczegółowe odpowiedzi, niż można uzyskać od modeli online. Jeśli będziesz je aktualizować, będą służyć jako wspaniali asystenci.