Uczciwa prognoza? Jak 180 meteorologów dostarcza "wystarczająco dobre" dane pogodowe

W dzisiejszych czasach prognozy pogody również opierają się na danych i modelach. Ale zrównoważenie dokładności i rentowności jest dobrym posunięciem, zwłaszcza w skali globalnej i gdy stawka jest wysoka.

Jaka jest wystarczająco dobra prognoza pogody? Jest to pytanie, nad którym większość ludzi prawdopodobnie nie zastanawia się zbytnio, ponieważ odpowiedź wydaje się oczywista - trafna. Ale z drugiej strony, większość ludzi nie jest CTO w DTN. Lars Ewe jest, a jego odpowiedź może być inna niż większości ludzi. Zatrudniając 180 meteorologów na całym świecie, którzy dostarczają prognozy pogody na całym świecie, DTN jest największą firmą meteorologiczną, o której prawdopodobnie nigdy nie słyszałeś.

U podstaw tego podejścia leży idea wykorzystania technologii prognozowania i danych DTN, a następnie połączenia ich z danymi specyficznymi dla klienta, aby zapewnić dostosowane do potrzeb spostrzeżenia. Mimo że istnieją podstawowe usługi, które DTN może również zaoferować, im bardziej szczegółowe dane, tym lepsza usługa, zauważył Ewe. Jakie to mogą być dane? Wszystko, co pomaga modelom DTN działać lepiej.

Może to być położenie lub kształt statków lub stan sieci infrastruktury. W rzeczywistości, ponieważ takie koncepcje są wielokrotnie używane w modelach DTN, firma zmierza w kierunku podejścia opartego na cyfrowym bliźniaku.

Pod wieloma względami prognozowanie pogody w dzisiejszych czasach jest naprawdę problemem związanym z dużymi zbiorami danych. Do pewnego stopnia, dodał Ewe, jest to również problem z Internetem rzeczy i integracją danych, w którym próbujesz uzyskać dostęp, zintegrować i przechowywać szereg danych do dalszego przetwarzania.

W związku z tym tworzenie prognoz pogody wymaga nie tylko specjalistycznej wiedzy meteorologów, ale także pracy zespołu naukowców zajmujących się danymi, inżynierów danych i ekspertów w dziedzinie uczenia maszynowego/DevOps. Podobnie jak w przypadku każdego zadania związanego z danymi big data i nauką o danych na dużą skalę, istnieje kompromis między dokładnością a opłacalnością.

• Najlepsza technologia na ekstremalne warunki pogodowe 2022: sprzęt do przerw w dostawie prądu

Wystarczająco dobra prognoza pogody na dużą skalę

Podobnie jak większość dyrektorów ds. technicznych, Ewe lubi pracować z technologią, ale musi również zdawać sobie sprawę z biznesowej strony rzeczy. Utrzymanie dokładności, która jest w sam raz lub "wystarczająco dobra", bez chodzenia na skróty, przy jednoczesnym zapewnieniu opłacalności finansowej, jest bardzo złożonym zadaniem. DTN podchodzi do tego na wiele sposobów.

Jednym ze sposobów jest zmniejszenie redundancji. Jak wyjaśnił Ewe, z biegiem czasu oraz poprzez fuzje i przejęcia, DTN stał się w posiadaniu ponad pięciu silników prognostycznych. Jak to zwykle bywa, każda z nich miała swoje mocne i słabe strony. Zespół DTN zebrał najlepsze elementy każdego z nich i skonsolidował je w jednym globalnym silniku prognostycznym.

Innym sposobem jest optymalizacja sprzętu i zmniejszenie związanych z tym kosztów. DTN współpracował z AWS w celu opracowania nowych instancji sprzętowych odpowiednich do potrzeb tego bardzo wymagającego przypadku użycia. Korzystając z nowych instancji AWS, DTN może uruchamiać modele prognozowania pogody na żądanie, z niespotykaną dotąd szybkością i skalą.

W przeszłości możliwe było uruchamianie modeli prognoz pogody tylko w określonych odstępach czasu, raz lub dwa razy dziennie, ponieważ ich uruchamianie zajmowało godziny. Teraz modele mogą działać na żądanie, generując jednogodzinną prognozę globalną w ciągu około minuty. Równie ważny jest jednak fakt, że te instancje są bardziej ekonomiczne w użyciu.

Jeśli chodzi o faktyczną naukę o tym, jak działają modele DTN - zawierają one zarówno modele oparte na danych, uczenie maszynowe, jak i modele uwzględniające wiedzę z dziedziny meteorologii. Ewe zauważyła, że DTN przyjmuje podejście zespołowe, uruchamiając różne modele i ważąc je w razie potrzeby, aby uzyskać ostateczny wynik.

Ten wynik nie jest jednak binarny - na przykład deszcz lub brak deszczu. Jest raczej probabilistyczna, co oznacza, że przypisuje prawdopodobieństwa potencjalnym wynikom - na przykład 80% prawdopodobieństwa wystąpienia 6 wiatrów w skali Beauforta. Uzasadnienie tego ma związek z tym, do czego te prognozy są wykorzystywane: do wywiadu operacyjnego.

Oznacza to pomoc klientom w podejmowaniu decyzji: czy ten morski odwiert powinien zostać ewakuowany, czy nie? Czy ten statek lub ten samolot powinien zostać przekierowany, czy nie? Czy to wydarzenie sportowe powinno się odbyć, czy nie?

Według Ewe podejście zespołowe ma kluczowe znaczenie dla możliwości uwzględnienia przewidywań w równaniu ryzyka. Pętle sprzężenia zwrotnego i automatyzacja wyboru odpowiednich modeli z odpowiednimi ciężarami w odpowiednich okolicznościach są tym, nad czym DTN aktywnie pracuje.

W tym miejscu pojawia się również aspekt "wystarczająco dobry". Prawdziwa wartość, jak to ujął Ewe, tkwi w dalszej konsumpcji prognoz generowanych przez te modele. "Należy być bardzo ostrożnym w równoważeniu poziomów inwestycji, ponieważ pogoda jest tylko jednym z parametrów wejściowych dla następnego modelu. Czasami ta dodatkowa połowa stopnia precyzji może nawet nie mieć znaczenia w przypadku następnego modelu. Czasami tak się dzieje".

Zataczając pełne koło, Ewe zauważyło, że uwaga DTN skupia się na codziennych operacjach firmy jej klientów oraz na tym, jak pogoda wpływa na te operacje i pozwala klientom na najwyższy poziom bezpieczeństwa i zwrotów pieniężnych. "Okazało się to o wiele cenniejsze niż zlecanie zewnętrznemu podmiotowi mierzenia dokładności naszych prognoz. To nasza codzienna interakcja z klientem mierzy, jak dokładne i wartościowe są nasze prognozy".