Trenuj modele sztucznej inteligencji przy użyciu własnych danych, aby ograniczyć ryzyko
Modele podstawowe stanowią dobrą platformę, na której organizacje mogą opierać się na kontroli danych szkoleniowych dotyczących sztucznej inteligencji.
Organizacje, które chcą skuteczniej wykorzystywać generatywną sztuczną inteligencję (AI), powinny wykorzystywać własne dane do szkolenia systemów AI, opierając się na modelach podstawowych.
Może to zapewnić bardziej odpowiedni kontekst i rozwiać obawy dotyczące potencjalnych zagrożeń, takich jak niedokładność i naruszenia praw własności intelektualnej.
W szczególności dokładność jest najwyższym priorytetem dla firmy takiej jak Jiva. Dostawca technologii rolniczej wykorzystuje sztuczną inteligencję do zasilania swojej aplikacji mobilnej Crop Doctor, która identyfikuje choroby upraw za pomocą przetwarzania obrazu i wizji komputerowej oraz zaleca leczenie. Wykorzystuje również sztuczną inteligencję, aby określić zdolność kredytową rolników, którzy proszą o zaliczkę gotówkową przed zbiorami, i zwraca pożyczki, gdy ich zbiory się opłacą.
Wykorzystuje różne narzędzia sztucznej inteligencji i uczenia maszynowego, w tym Pinecorn, OpenAI i scikit-learn, a także Google TensorFlow i Vertex AI. Jiva prowadzi działalność w Singapurze, Indonezji i Indiach.
Według CTO firmy Jiva, Tejasa Dinkara, trenuje swoje modele sztucznej inteligencji na tysiącach obrazów z adnotacjami dla każdej choroby. Firma agritech zebrała setki tysięcy zdjęć z ziemi za pośrednictwem swoich zespołów terenowych i rolników, którzy należą do sieci Jiva i korzystają z jej aplikacji AgriCentral, która jest dostępna w Indiach.
Jej eksperci terenowi biorą udział w początkowym gromadzeniu i opisywania zdjęć, zanim zostaną one przekazane ekspertom w dziedzinie agronomii, którzy dodatkowo opisują obrazy. Następnie dodaje się je do modelu szkoleniowego stosowanego do identyfikacji chorób roślin.
W przypadku nowych upraw lub upraw, z którymi zespół ekspertów jest mniej zaznajomiony, Jiva wprowadza inne platformy, takie jak Plantix, które dysponują obszernymi zbiorami danych umożliwiającymi rozpoznawanie obrazów i informacje diagnostyczne.
Dostarczanie dokładnych informacji jest niezbędne, ponieważ dane mogą poprawić zbiory i źródła utrzymania rolników, powiedział Dinkar w wywiadzie dla ZDNET. Aby jeszcze bardziej zapewnić prawdziwość danych, generatywna sztuczna inteligencja i modele wielkojęzykowe (LLM) korzystają wyłącznie ze zbiorów danych, które sama Jiva pozyskała i zweryfikowała.
Chatbot jest ponadto proszony, aby w drodze szybkiej inżynierii ignorował wszelkie wstępnie przeszkolone dane dotyczące rolnictwa, które mogą znajdować się w LLM, powiedział.
Jeśli nie ma danych, z których można wyciągnąć dane, chatbot zwraca odpowiedź, w której informuje, że nie jest w stanie zidentyfikować choroby roślin uprawnych. „Chcecie mieć pewność, że jest wystarczająca ilość danych. Nie chcemy udzielać niejasnej odpowiedzi” - powiedział.
Jiva wykorzystuje także swoją bibliotekę obrazów do tworzenia aplikacji na platformach takich jak Plantix. Modele te stanowią dobry punkt odniesienia, ale ponieważ są opracowywane przez firmy o zasięgu globalnym, niekoniecznie muszą być odpowiednio przeszkolone w oparciu o dane specyficzne dla regionu lub rynku, powiedział Dinkar.
Dodał, że problem ten oznaczał, że Jiva musiał stworzyć modele szkoleniowe dla upraw bardziej powszechnych w Indonezji i Indiach, takich jak kukurydza. Działają one lepiej niż Plantix lub inne gotowe produkty - dodał, zwracając uwagę na znaczenie lokalizacji w modelach AI.
Dostosuj modele podstawowe, aby uzyskać lepsze wyniki
Korzystanie z gotowych do użycia podstawowych modeli danych to jeden ze sposobów szybkiego rozpoczęcia pracy z generatywną sztuczną inteligencją. Jednak, zdaniem Oliviera Kleina, głównego technologa Amazon Web Services (AWS) na region Azji i Pacyfiku, częstym wyzwaniem związanym z takim podejściem jest to, że dane mogą nie mieć związku z branżą, w której działa firma.
Aby odnieść sukces we wdrażaniu generatywnej sztucznej inteligencji, organizacje powinny udoskonalić model sztucznej inteligencji przy użyciu własnych danych, powiedział Klein. Firmy, które podejmą wysiłek, aby zrobić to właściwie, szybciej posuną się do przodu z ich wdrożeniem.
Samo wykorzystanie generatywnej sztucznej inteligencji okaże się bardziej atrakcyjne, jeśli zostanie osadzone w strategii i platformie danych organizacji - dodał.
W zależności od przypadku użycia częstym wyzwaniem, przed jakim stają firmy, jest to, czy dysponują wystarczającą ilością własnych danych, aby wytrenować model sztucznej inteligencji - powiedział. Zauważył jednak, że ilość danych niekoniecznie jest równoznaczna z ich jakością.
Adnotacja danych jest również ważna, podobnie jak zastosowanie kontekstu do modeli szkoleniowych AI, aby system generował odpowiedzi bardziej specyficzne dla branży, w której działa firma, powiedział.
Dzięki adnotacjom do danych poszczególne komponenty danych szkoleniowych są oznaczane, aby umożliwić maszynom AI zrozumienie, co zawierają dane i jakie komponenty są ważne.
Klein wskazał na powszechne błędne przekonanie, że wszystkie systemy AI są takie same, co nie jest prawdą. Powtórzył, że organizacje muszą upewnić się, że udoskonalają modele sztucznej inteligencji w oparciu o przypadek użycia, a także branżę.
Stwierdził, że firmy LLM stały się powodem wielu rozmów wśród klientów korporacyjnych na temat wykorzystania generatywnej sztucznej inteligencji w szczególności w centrach obsługi telefonicznej. Istnieje zainteresowanie tym, w jaki sposób technologia może poprawić komfort pracy agentów telefonicznych, którzy będą mogli na bieżąco uzyskiwać dostęp do lepszych odpowiedzi i wykorzystywać je w celu poprawy obsługi klienta.
Zauważył, że operatorzy call center mogą szkolić model sztucznej inteligencji, korzystając z własnej bazy wiedzy, która może obejmować chatbota i interakcje z klientami.
Jak wynika z raportu Business Harvard Review, dodawanie treści specyficznych dla domeny do istniejącego LLM, który jest już przeszkolony w zakresie wiedzy ogólnej i interakcji opartej na języku, zwykle wymaga znacznie mniej danych. To podejście dostrajające polega na dostosowaniu niektórych parametrów modelu podstawowego i korzysta z setek lub tysięcy dokumentów, a nie milionów czy miliardów. Potrzebny jest także krótszy czas obliczeń w porównaniu do budowania nowego modelu podstawowego od zera.
Istnieją jednak pewne ograniczenia. W raporcie zauważono, że takie podejście nadal może być kosztowne i wymaga specjalistycznej wiedzy z zakresu analityki danych. Co więcej, nie wszyscy dostawcy LLM, tacy jak ChatGPT-4 OpenAi, pozwalają użytkownikom na dostrajanie ich.
Wykorzystywanie własnych danych rozwiązuje również powszechny problem klientów w obliczu zwiększonego zainteresowania generatywną sztuczną inteligencją, w przypadku której firmy chcą zachować kontrolę nad danymi używanymi do uczenia modeli sztucznej inteligencji i mieć pewność, że dane pozostaną w ich środowiskach, powiedział Klein.
Takie podejście gwarantuje, że nie ma „czarnej skrzynki”, a organizacja dokładnie wie, jakie dane są wykorzystywane do zasilania modelu sztucznej inteligencji - zauważył. Zapewnia również przejrzystość i pomaga w ustanowieniu odpowiedzialnego przyjęcia sztucznej inteligencji.
Podejmowane są również ciągłe wysiłki w celu określenia polityk niezbędnych do uniknięcia efektu czarnej skrzynki, powiedział, dodając, że AWS współpracuje z organami regulacyjnymi i decydentami, aby zapewnić zgodność swoich własnych produktów AI. Firma pomaga również klientom w zrobieniu tego samego przy ich własnych wdrożeniach.
Na przykład Amazon Bedrock może wykryć stronniczość i filtrować treści, które naruszają wytyczne etyczne AI - powiedział. Bedrock to zestaw podstawowych modeli, który obejmuje modele własne i branżowe, takie jak Amazon Titan, Jurassic-2 AI21 Labs, Claude firmy Anthropic i Stability AI.
Klein przewiduje, że w przyszłości pojawi się więcej podstawowych modeli danych, w tym modele bazowe specyficzne dla branży, aby zapewnić organizacjom dalsze możliwości szkolenia.
Kluczowe problemy do rozwiązania dzięki generatywnej sztucznej inteligencji
Tam, gdzie brakuje solidnych modeli sztucznej inteligencji, ludzie mogą wkroczyć.
W przypadku rzadkich lub bardzo specyficznych problemów z uprawami Dinkar zauważył, że zespół ekspertów w dziedzinie agronomii Jiva może współpracować z lokalnymi badaczami i zespołami terenowymi, aby je rozwiązać.
Zespół ds. oceny zdolności kredytowej firmy nakłada również dane generowane przez systemy sztucznej inteligencji na inne informacje - dodał. Na przykład zespół może złożyć wizytę na miejscu i zdać sobie sprawę, że plony są niedawno gotowe do zbiorów, czego system oparty na sztucznej inteligencji mógł nie wziąć pod uwagę podczas generowania oceny kredytowej.
„Celem nie jest całkowite usunięcie ludzi, ale przeniesienie ich do obszarów, w których mogą wzmocnić i [zastosować] myśli adaptacyjne, do czego maszyny jeszcze nie są zdolne” - powiedział Dinkar.
Zapytany o wyzwania, jakie napotkała firma Jiva w związku z przyjęciem generatywnej sztucznej inteligencji, wskazał na brak standardowej metodologii szybkiej obsługi w przypadku różnych wersji oprogramowania i dostawców.
„Prawdziwej wielojęzyczności” brakuje także w szkołach LLM, stwierdził, podczas gdy halucynacje pozostają kluczowym problemem.
„Różne modele dużych języków mają swoje własne dziwactwa i te same techniki podpowiedzi nie sprawdzają się w nich” - wyjaśnił. Na przykład dzięki udoskonalonej szybkiej inżynierii Jiva była w stanie poinstruować swojego bota agronomicznego, aby wyjaśnił, czy nie jest w stanie wywnioskować z kontekstu uprawy, do której odnosi się rolnik.
Jednakże, chociaż ten konkretny monit działał dobrze na GPT-3.5, nie radził sobie tak dobrze na GPT-4, powiedział. Nie działa również na innym LLM.
„Brak możliwości ponownego wykorzystania podpowiedzi w różnych wersjach i platformach wymaga stworzenia dostosowanych do indywidualnych potrzeb zestawów technik podpowiedzi dla każdej z nich” - powiedział Dinkar. „W miarę ulepszania narzędzi i pojawiania się najlepszych praktyk w zakresie podpowiedzi różnych dużych modeli językowych, mamy nadzieję, że podpowiedzi międzyplatformowe staną się rzeczywistością”.
Stwierdził, że potrzebne są ulepszenia w zakresie obsługi wielu języków, wskazując na dziwne odpowiedzi wyrwane z kontekstu, które czasami generuje chatbot.