Czy LiDAR jest na wylocie? Argumenty biznesowe przemawiające za pożegnaniem

Wraz z rozwojem automatyzacji czujniki coraz bardziej odchodzą od LiDAR.

Wśród zalewu prognoz dotyczących robotyki, z którymi z pewnością spotkasz się w tym roku, jest jedna, na którą powinieneś zwrócić szczególną uwagę: sposób, w jaki roboty "widzą", fundamentalnie się zmienia, a to będzie miało ogromny wpływ na koszty użytkowania i rozprzestrzenianie się systemów robotycznych.

Oczywiście, mówienie o tym, że roboty "widzą", jest trochę mylące, a przynajmniej jest to skrót myślowy dla złożonej interakcji oprogramowania i sprzętu, która pozwala robotom na znacznie bardziej wyrafinowane wykrywanie przy użyciu znacznie tańszego sprzętu. Widzenie maszynowe obejmuje różnorodne technologie i w coraz większym stopniu opiera się na oprogramowaniu w postaci uczenia maszynowego i sztucznej inteligencji do interpretowania i przetwarzania danych z czujników 2D, które jeszcze niedawno byłyby nieosiągalne.

Wraz z rosnącym uzależnieniem od oprogramowania następuje interesujące odejście od wysoce wyspecjalizowanych czujników, takich jak LiDAR, które od dawna są podstawą dla robotów działających w środowiskach częściowo ustrukturyzowanych i nieustrukturyzowanych. Eksperci w dziedzinie robotyki, którzy łączą relacje między ludźmi a oprogramowaniem AI, dochodzą do wniosku, że LiDAR nie jest w rzeczywistości potrzebny. Systemy wizyjne zapewniają raczej wyższą jakość mapowania przy bardziej przystępnych kosztach, zwłaszcza jeśli chodzi o robotykę i automatyzację w pomieszczeniach.

Zobacz także: 2022: Wielka rewolucja w robotyce.

Aby dowiedzieć się więcej o trwającej transformacji, skontaktowałem się z Randem Voorhiesem, dyrektorem technicznym i współzałożycielem inVia Robotics, na temat widzenia maszynowego, przyszłości automatyzacji i tego, czy LiDAR nadal będzie podstawowym czujnikiem dla robotów w nadchodzących latach.

GN: Gdzie nastąpił postęp w dziedzinie widzenia maszynowego, czujników czy oprogramowania?

Rand Voorhies: Chociaż czujniki do obrazowania 2D rzeczywiście odnotowują ciągłą poprawę, ich rozdzielczość/szum/jakość rzadko były czynnikiem ograniczającym powszechne przyjęcie systemów wizyjnych. Chociaż w ciągu ostatniej dekady wprowadzono kilka interesujących ulepszeń czujników (takich jak matryce czujników polaryzacyjnych i kamery plenoptyczne/pola świetlnego), żadne z nich tak naprawdę nie zyskało na popularności, ponieważ głównymi zaletami czujników wizyjnych są ich koszt i wszechobecność. Najbardziej przełomowy postęp nastąpił na froncie oprogramowania dzięki pojawieniu się głębokiego uczenia. Nowoczesne modele widzenia maszynowego oparte na głębokim uczeniu wydają się magiczne w porównaniu z technologią sprzed dziesięciu lat. Każdy nastolatek z procesorem graficznym może teraz pobrać i uruchomić biblioteki rozpoznawania obiektów, które dziesięć lat temu zdmuchnęłyby z powierzchni ziemi najlepsze laboratoria badawcze. Faktem jest, że czujniki obrazowania 2D przechwytują znacznie więcej danych niż typowy czujnik LiDAR - trzeba tylko wiedzieć, jak z niego korzystać.

Podczas gdy najnowocześniejsze systemy wizyjne rozwijają się w zawrotnym tempie, inne czynniki również przyczyniły się do przyjęcia jeszcze prostszych technik widzenia maszynowego. Ciągły rozwój technologii akumulatorów i silników doprowadził do obniżenia kosztów komponentów do punktu, w którym można produkować systemy zrobotyzowane, które zapewniają użytkownikowi końcowemu bardzo wysoki zwrot z inwestycji. Biorąc pod uwagę dobry zwrot z inwestycji, klienci (w naszym przypadku operatorzy magazynów) chętnie opisują swoje otoczenie za pomocą "fiducialnych" naklejek. Te naklejki są prawie jak kod do oszukiwania w robotyce, ponieważ bardzo niedrogie rozwiązania wizyjne mogą wykryć pozycję i orientację naklejki referencyjnej z ultraprecyzją. Przyklejając te wzorce w całym magazynie, roboty mogą łatwo zbudować mapę, która pozwoli im się zlokalizować.

GN: Czy mógłbyś przybliżyć trochę kontekstu na temat adopcji LiDAR? Dlaczego stał się tak ustandaryzowanym narzędziem detekcyjnym w zastosowaniach mobilności autonomicznej? Jakie były wczesne przeszkody w widzeniu maszynowym, które doprowadziły programistów do LiDAR?

Rand Voorhies: Systemy wizyjne były wykorzystywane do kierowania robotami jeszcze przed powstaniem LiDAR. LiDAR zaczął zyskiwać znaczną popularność na początku 2000 roku dzięki przełomowym badaniom naukowym Sebastiana Thruna, Daphne Koller, Michaela Montemerlo, Bena Wegbreita i innych, które umożliwiły przetwarzanie danych z tych czujników. Te badania i doświadczenia doprowadziły do dominacji autonomicznego pojazdu Stanley opartego na LiDAR w DARPA Grand Challenge (prowadzonym przez Thruna), a także do założenia firmy Velodyne (przez Davida Halla, innego uczestnika Grand Challenge), która produkuje to, co wielu uważa obecnie za de facto czujnik samochodu autonomicznego. Wyzwanie pokazało, że LiDAR jest wreszcie realną technologią dla szybko poruszających się robotów do poruszania się po nieznanych, zaśmieconych środowiskach z dużą prędkością. Od tego czasu nastąpił ogromny wzrost zainteresowania naukowców ulepszaniem algorytmów przetwarzania danych z czujników LiDAR, a także opublikowano setki artykułów i powstały doktoraty na ten temat. W rezultacie, absolwenci napływają do przestrzeni komercyjnej z mnóstwem akademickiego doświadczenia w LiDAR na koncie, gotowi do zastosowania teorii w praktyce.

W wielu przypadkach LiDAR okazał się bardzo odpowiednim narzędziem do tego zadania. Gęsta chmura punktów 3D od dawna była marzeniem robotyków i może znacznie ułatwić omijanie przeszkód i znajdowanie ścieżki, szczególnie w nieznanych, dynamicznych środowiskach. Jednak w niektórych kontekstach LiDAR po prostu nie jest odpowiednim narzędziem do tego zadania i może dodać niepotrzebną złożoność i koszty do skądinąd prostego rozwiązania. Określenie, kiedy LiDAR jest właściwy, a kiedy nie, jest kluczem do budowania rozwiązań robotycznych, które nie tylko działają, ale także zapewniają dodatni zwrot z inwestycji dla klienta.

W tym samym czasie rozwinęło się również widzenie maszynowe. Jedną z pierwszych przeszkód w widzeniu maszynowym można zrozumieć za pomocą prostego pytania: "Czy patrzę na duży obiekt, który jest daleko, czy na mały obiekt, który jest z bliska"? W przypadku tradycyjnej wizji 2D po prostu nie było sposobu, aby się rozróżnić. Nawet nasze mózgi mogą zostać oszukane, co widać w iluzjach perspektywy lunaparku. Nowoczesne podejścia do widzenia maszynowego wykorzystują szeroki zakres podejść do rozwiązania tego problemu, w tym:

• Szacowanie odległości od obiektu poprzez zrozumienie szerszego kontekstu sceny, np. wiem, że moja kamera znajduje się 2 m nad ziemią i rozumiem, że opony samochodu mają 1000 pikseli wzdłuż ulicy, więc musi to być 25 m dalej.
• Budowanie zrozumienia 3D sceny przy użyciu dwóch lub więcej nakładających się kamer (np. widzenie stereoskopowe).
• Budowanie trójwymiarowego zrozumienia sceny poprzez "wyczucie", jak porusza się kamera, np. za pomocą IMU (inercyjnej jednostki pomiarowej - coś w rodzaju ucha wewnętrznego robota) i skorelowanie tych ruchów ze zmieniającymi się obrazami z kamery.

Nasze własne mózgi wykorzystują wszystkie te trzy techniki jednocześnie, aby dać nam bogate zrozumienie otaczającego nas świata, które wykracza poza zwykłe zbudowanie modelu 3D.

GN: Dlaczego w wielu zastosowaniach robotyki istnieje lepsze technologiczne uzasadnienie dla systemów wizyjnych niż LiDAR?

Rand Voorhies: LiDAR doskonale nadaje się do zastosowań zewnętrznych, gdzie jest wiele niewiadomych i niespójności w terenie. Dlatego jest to najlepsza technologia dla samochodów autonomicznych. W środowiskach wewnętrznych systemy wizyjne są lepszym rozwiązaniem technologicznym. Ponieważ fotony światła odbijają się od obiektów w magazynie, roboty mogą łatwo się pomylić pod kierunkiem LiDAR. Mają trudności z odróżnieniem, na przykład, pudełka z ekwipunkiem od regału z ekwipunkiem - oba są dla nich tylko przedmiotami. Kiedy roboty znajdują się głęboko w korytarzach dużych magazynów, często się gubią, ponieważ nie są w stanie rozróżnić swoich punktów orientacyjnych. Następnie należy je ponownie zmapować.

Dzięki wykorzystaniu wizji maszynowej w połączeniu ze znacznikami odniesienia, nasze roboty inVia Picker dokładnie wiedzą, gdzie się znajdują w dowolnym momencie. Mogą "widzieć" i rozróżniać swoje punkty orientacyjne. Prawie wszystkie roboty magazynowe/przemysłowe oparte na LiDAR wymagają do działania pewnych znaczników referencyjnych. Roboty oparte na wizji maszynowej wymagają większej liczby znaczników. To ostatnie wymaga dodatkowego czasu i kosztów wdrożenia długich rolek naklejek w porównaniu z mniejszą liczbą pojedynczych naklejek, ale jeśli weźmie się pod uwagę czas i koszty regularnego mapowania LiDAR, szala przechyla się daleko na korzyść czystej wizji. W ostatecznym rozrachunku systemy wizyjne 2D w magazynie są tańsze, łatwiejsze i bardziej niezawodne niż LiDAR.

Jeśli korzystanie z robotów nie wymaga bardzo dużej precyzji i niezawodności, to LiDAR może być wystarczający. Jednak w przypadku systemów, które nie mogą sobie pozwolić na utratę dokładności lub czasu pracy, systemy wizyjne mogą naprawdę pokazać swoje mocne strony. Oparte na zaufanych systemach wizyjnych pozwalają operatorom umieszczać znaczniki dokładnie tam, gdzie wymagana jest precyzja. Dzięki systemowi inVia, który podnosi i odkłada pojemniki z regałów, umieszczanie tych znaczników na pojemnikach i regałach zapewnia milimetrową dokładność, aby zapewnić, że każda pojemników zostanie bezbłędnie umieszczona dokładnie tam, gdzie powinna. Próba osiągnięcia tego za pomocą czystego systemu LiDAR byłaby zbyt kosztowna i czasochłonna w przypadku zastosowań komercyjnych.

GN: Dlaczego istnieje lepsze uzasadnienie biznesowe?

Rand Voorhies: Od strony biznesowej sprawa jest również prosta. Systemy wizyjne oszczędzają pieniądze i czas. Chociaż koszt technologii LiDAR na przestrzeni lat spadł, nadal jest droga. Dokładamy wszelkich starań, aby znaleźć najbardziej opłacalne technologie i komponenty dla naszych robotów, aby automatyzacja była dostępna dla firm każdej wielkości. W inVia kierujemy się etosem upraszczania złożonych technologii. 

Różnica w czasie potrzebnym na realizację zamówień za pomocą systemów wizyjnych w porównaniu z technologią LiDAR i wszystkimi wymaganiami dotyczącymi ponownego mapowania ma kluczowe znaczenie. Może to oznaczać różnicę w dostarczeniu zamówienia do klienta na czas lub dzień opóźnienia. Każdy robot, który zostanie utracony w wyniku ponownego mapowania LiDAR, zmniejsza zwrot z inwestycji w ten system. 

Sam sprzęt jest również tańszy przy użyciu widzenia maszynowego. Kamery są tańsze niż LiDAR, a większość systemów LiDAR i tak potrzebuje kamer z dowodami. W przypadku systemów wizyjnych istnieje dodatkowy jednorazowy koszt pracy związany z zastosowaniem środków odniesienia. Jednak jednorazowe zastosowanie środków powierniczych do pojemników/regałów jest niezwykle tanie pod względem siły roboczej i skutkuje bardziej niezawodnym systemem z mniejszą liczbą przestojów i błędów. 

GN: W jaki sposób systemy wizyjne zmienią krajobraz w odniesieniu do zastosowania robotyki w sektorach takich jak logistyka i realizacja zamówień?

Rand Voorhies: Systemy wizyjne już teraz wywierają wpływ na logistykę i centra realizacji zamówień poprzez automatyzację rutynowych zadań w celu zwiększenia wydajności pracy. Magazyny, które wykorzystują roboty do realizacji zamówień, mogą uzupełniać deficytową siłę roboczą i pozwalać swoim pracownikom zarządzać zadaniami wyższego rzędu, które obejmują podejmowanie decyzji i rozwiązywanie problemów. Systemy wizyjne umożliwiają flotom robotów mobilnych poruszanie się po magazynie, wykonywanie kluczowych zadań, takich jak kompletacja, uzupełnianie zapasów, przemieszczanie zapasów i zarządzanie zapasami. Robią to bez zakłóceń i z precyzją maszyny. 

Korzystanie z systemów robotycznych opartych na systemach wizyjnych usuwa również bariery w ich wdrażaniu ze względu na ich przystępność cenową. Małe i średnie firmy, które wcześniej były wypierane z rynku tradycyjnej automatyzacji, są w stanie czerpać te same korzyści z automatyzacji powtarzalnych zadań, a tym samym rozwijać swoją działalność.

GN: W jaki sposób magazyny powinny badać krajobraz technologii robotyki w miarę wdrażania nowych systemów?

Rand Voorhies: Obecnie na rynku dostępnych jest wiele rozwiązań robotycznych, a każde z nich wykorzystuje bardzo zaawansowaną technologię do rozwiązania konkretnego problemu, z którym borykają się operatorzy magazynów. Tak więc najważniejszym krokiem jest zidentyfikowanie największego wyzwania i znalezienie rozwiązania, które je rozwiąże. 

Na przykład w inVia stworzyliśmy rozwiązanie, które w szczególności rozwiązuje problem, który jest unikalny dla realizacji zamówień w handlu elektronicznym. Realizacja zamówień e-commerce wymaga losowego dostępu do dużej liczby różnych SKU w poszczególnych liczbach. To bardzo różni się od realizacji zamówień detalicznych, w której pobierasz hurtowe ilości SKU i wysyłasz je w skrzynkach i/lub paletach. Te dwie operacje wymagają bardzo różnych konfiguracji i planów przechowywania i pobierania. Stworzyliśmy zastrzeżone algorytmy, które w szczególności tworzą szybsze ścieżki i procesy w celu odzyskania losowo dostępnych jednostek SKU.

Handel elektroniczny jest również znacznie bardziej pracochłonny i czasochłonny, a co za tym idzie kosztowny. Dlatego te magazyny chcą przyjąć technologie robotyki, które mogą pomóc im obniżyć koszty pracy, a także czas potrzebny na dostarczenie zamówień do klientów. Mają umowy SLA (umowy dotyczące poziomu usług), które określają, kiedy zamówienia muszą zostać pobrane, spakowane i wysłane. Muszą zapytać dostawców, w jaki sposób ich technologia może pomóc im wyeliminować blokady, aby spełnić te umowy SLA.