Google Cloud próbuje uczynić dane "nieograniczonymi" dzięki BigLake i nowemu sojuszowi na rzecz chmury danych
BigLake został zaprojektowany tak, aby był całkowicie open-source i miał kluczowe znaczenie dla przyszłych inwestycji Google Cloud.
Google Cloud ogłosił wersję zapoznawczą swojego silnika przechowywania danych BigLake, w ramach swojego celu, jakim jest usunięcie wszystkich "limitów danych", a także przełamanie bariery między jeziorami danych a hurtowniami.
Jak wyjaśnił Sudhir Hasbe, menedżer produktu do analizy danych w Google Cloud, BigLake został zaprojektowany tak, aby zapewnić ujednolicony interfejs w każdej warstwie pamięci masowej, w tym w jeziorze danych i hurtowni danych, niezależnie od formatu.
"Chodzi o to, aby nie trzeba było kopiować danych, przenosić danych między magazynami obiektów, takimi jak Google Cloud Storage, S3 lub Azure w środowisku wielochmurowym, i otrzymujesz jedno miejsce, w którym możesz uzyskać dostęp do wszystkich swoich danych" - powiedział mediom podczas briefingu wstępnego.
Hasbe dodał, że BigLake może obsługiwać wszystkie otwarte formaty plików, takie jak Parquet, wraz z silnikami przetwarzania open source, takimi jak Apache Spark lub Beam, oraz różnymi formatami tabel, w tym Delta i Iceberg.
"Jest całkowicie otwarty" - powiedział.
"Bierzemy innowacje od Google, rozszerzamy je na świat open source i czynimy go bardziej otwartym dla wszystkich naszych klientów".
BigLake ma stać się centralnym elementem wszystkich przyszłych inwestycji Google Clouds.
"Upewnimy się, że wszystkie różne narzędzia i komponenty będą bezproblemowo współpracować z BigLake w przyszłości" - powiedział Hasbe.
Ponadto Google ogłosił utworzenie Data Cloud Alliance, który został utworzony wraz z innymi partnerami założycielskimi, w tym Confluent, Databricks, Dataiku, Deloitte, Elastic, Fivetran, MongoDB, Neo4j, Redis i Starburst.
W ramach sojuszu członkowie zapewnią infrastrukturę, interfejsy API i wsparcie w zakresie integracji, aby zapewnić przenośność i dostępność danych między wieloma platformami i produktami w wielu środowiskach. Będą również współpracować nad nowymi, wspólnymi modelami danych branżowych, procesami i integracjami platform w celu zwiększenia przenośności danych.
"Zobowiązaliśmy się do usunięcia barier utrudniających blokowanie danych. Zobowiązaliśmy się do zapewnienia dostępu do danych i ich przetwarzania w różnych produktach, a także zobowiązaliśmy się do umieszczenia klienta w centrum naszych wspólnych innowacji" - stwierdził Gerrit Kazmaier, dyrektor generalny Google Databases, Data Analytics, Looker.
W ramach Data Cloud Summit gigant technologiczny wprowadził również Vertex AI Workbench, aby połączyć dane i systemy uczenia maszynowego w jednym interfejsie, dzięki czemu zespoły mogą mieć wspólne zestawy narzędzi do analizy danych, nauki o danych i uczenia maszynowego. Został zaprojektowany tak, aby można go było bezpośrednio zintegrować z pełnym pakietem produktów sztucznej inteligencji i danych, w tym BigQuery, Serverless Spark i Dataproc.
"Ta funkcja pozwala zespołom tworzyć, trenować i wdrażać modele uczenia maszynowego w prostym środowisku notebooków, które mogą ulepszyć i uczynić je pięciokrotnie szybszym niż inne narzędzia, z których mogą korzystać" - powiedział Henry Tappen, starszy menedżer produktu Google Cloud AI.
Firma ogłosiła również Vertex AI Model Registry. Obecnie w wersji zapoznawczej Model Registery został zaprojektowany jako "centralne repozytorium do odkrywania, używania i zarządzania modelami uczenia maszynowego, w tym tymi przechowywanymi w BigQuery ML", powiedział Tappen.
"Ponieważ ta funkcja ułatwia analitykom danych udostępnianie modeli, a twórcom aplikacji korzystanie z nich, zespoły będą mogły lepiej przekształcać dane w decyzje w czasie rzeczywistym" - dodał Tappen.