Sztuczna inteligencja i zaawansowane aplikacje obciążają obecną infrastrukturę technologiczną

Większość menedżerów biorących udział w niedawnej ankiecie (76%) twierdzi, że ich obecna infrastruktura nie jest gotowa, aby sprostać nadchodzącym wymaganiom, czyli sztucznej inteligencji i powiązanym obciążeniom analitycznym.

Z badania Hitachi wynika, że zapotrzebowanie na przechowywanie danych może się podwoić w ciągu dwóch lat. Gdzie trafią wszystkie te dane? Jest chmura, prawda?

Jeśli planujesz gruntownie przenieść swój zespół lub organizację na sztuczną inteligencję, być może będziesz musiał zbadać i przygotować się do inwestycji w infrastrukturę pod spodem - pojemność danych, moc przetwarzania, narzędzia i powiązane zasoby.

Podczas gdy świat uwikłany jest w debaty na temat efektywności i zagrożeń związanych ze sztuczną inteligencją, kwestii infrastruktury wspierającej nie poświęca się wystarczającej uwagi. Wygląda na to, że wiele obecnych systemów może nie być gotowych do obsługi obciążeń AI.

Większość menedżerów biorących udział w niedawnej ankiecie (76%) uważa, że ich obecna infrastruktura „nie będzie w stanie skalować się, aby sprostać nadchodzącym wymaganiom” - czyli sztucznej inteligencji i powiązanym obciążeniom analitycznym. Ponadto ankieta przeprowadzona przez Hitachi Vantara wśród 1288 menedżerów również wykazała, że 60% z nich twierdzi, że jest po prostu „przytłoczonych” ilością danych, którymi zarządza. Autorzy raportu przewidują, że do 2025 roku duże organizacje będą przechowywać ponad 65 petabajtów danych. (Nie tak dawno terabajt był ogromnym obciążeniem.)

Dane Hitachi odzwierciedlają ustalenia Instytutu Infrastruktury AI (AIII), z którego wynika, że tylko 26% zespołów było „bardzo zadowolonych” z obecnej infrastruktury AI/ML. Duże firmy technologiczne mają oczywiście ogromne budżety, personel i możliwości, aby urzeczywistnić sztuczną inteligencję. Zespoły w tych firmach „zbudowały od podstaw własną infrastrukturę AI/ML, ponieważ na rynku nie było nic, co mogłoby wesprzeć ich wysiłki” - stwierdzają autorzy raportu AIII.

Dodają, że ostatnio „zaobserwowaliśmy szybki rozwój nowych narzędzi i platform, które pozwalają przedsiębiorstwom oraz małym i średnim przedsiębiorstwom czerpać korzyści z rewolucji wywiadowczej. Jednak zbudowanie odpowiedniej infrastruktury AI/ML, która odpowiada konkretnym potrzebom firm, nadal stanowi istotny problem wyzwanie."

Weźmy na przykład prostą, surową pojemność pamięci. Z badania Hitachi wynika, że zapotrzebowanie na przechowywanie danych może się podwoić w ciągu dwóch lat. Gdzie trafią wszystkie te dane? Jest chmura, prawda? Trzymajcie się tej myśli - ostrzegają autorzy ankiety. Chmura jest częścią rozwiązania, „ale nie złotym środkiem” - zauważają. Do 2025 r. około 27% obciążeń centrów danych będzie odbywać się w chmurach publicznych, a kolejne 21% będzie zlokalizowane w kolokacji. Około połowa obciążeń centrów danych, 49%, pozostanie w murach firmy — albo w bardziej tradycyjnych systemach lokalnych, albo w chmurach prywatnych.

Aby jeszcze bardziej skomplikować sprawę, dyrektorzy IT szacują, że nie mają kontroli nad połową danych przepływających przez ich przedsiębiorstwa. Są to „ciemne dane”, które są gromadzone i przechowywane, ale nigdy nie są wykorzystywane - i mogą stanowić prawie połowę wszystkich danych.

Zwiększenia wymaga nie tylko pojemność danych - ważne są narzędzia. „Rozwój każdego zespołu AI/ML to podróż i na każdym etapie potrzebne są inne narzędzia” - zauważa raport AIII. „Na każdym wczesnym etapie, gdy zatrudnia się tylko kilku najwyższej klasy analityków danych, Twoje potrzeby w zakresie narzędzi są znacznie prostsze. Jednak w miarę powiększania się zespołu potrzebne są nowsze i lepsze narzędzia, aby poradzić sobie z tym wzrostem. Tradycyjne względy IT w przedsiębiorstwie, np. oparte na rolach kontrola dostępu i bezpieczeństwo nagle stają się ważne, podobnie jak bieżące monitorowanie i konserwacja.”

Dodatkowe potrzeby pojawiające się wraz z szybkim rozwojem sztucznej inteligencji obejmują magazyny funkcji, a także widoczność wersjonowania i pochodzenia danych. „Niektórzy odkrywają wersjonowanie i pochodzenie danych zbyt późno, gdy regulacje lub błąd publiczny uwydatniły taką potrzebę.” - stwierdzają autorzy AIII. „W miarę jak zespoły rosną i konkurują o wewnętrzne planowanie zasobów na różnych procesorach graficznych, staje się to niezbędne. Na każdym etapie szybko pojawiają się nowe, niezbędne narzędzia”.

Firmy z branży big-tech „budowały od zera własne narzędzia, ponieważ na rynku nie było nic, co zaspokajałoby ich potrzeby, ale takie podejście jest w dużej mierze poza zasięgiem innych przedsiębiorstw, które nie mają armii programistów” - stwierdzają autorzy AIII . „Jest to również niezrównoważone, ponieważ zadłużenie techniczne i utrzymanie tych narzędzi szybko staje się koszmarem, nawet gdy narzędzia komercyjne zaczynają swoimi możliwościami omijać systemy zbudowane wewnętrznie”.

Analitycy AIII „spodziewają się, że w ciągu najbliższych pięciu lat coraz więcej firm technologicznych zastąpi części swojego domowego stosu alternatywami komercyjnymi lub open source. Oczekujemy, że większość przedsiębiorstw na wczesnym etapie większości nie będzie tworzyć własnych narzędzi i zamiast tego skoncentruj się na pisaniu mniejszych narzędzi, które zamykają lukę pomiędzy modułowymi elementami stosu.