Najnowsze badania firmy Nvidia nad sztuczną inteligencją ułatwią tworzenie obiektów 3D z obrazów 2D
Jest to rodzaj badań, które pomogą Nvidii i innym dużym firmom położyć podwaliny pod łatwo dostępny metaverse.
Nvidia we wtorek zadebiutowała nowymi badaniami nad renderowaniem 3D, które pewnego dnia mogą ułatwić grafikom, architektom i innym twórcom szybkie tworzenie modeli 3D z obrazów 2D. Jest to rodzaj badań, które pomogą Nvidii i innym dużym firmom położyć podwaliny pod łatwo dostępny metaverse.
Renderowanie światów 3D jest skomplikowanym wyzwaniem technicznym. Jedna z technik znana jako renderowanie odwrotne polega na rekonstrukcji scen 3D z kilku obrazów 2D. Wykorzystuje sztuczną inteligencję do przybliżenia, jak światło zachowuje się w świecie rzeczywistym.
Nvidia niedawno zaprezentowała swoją pracę z neuronalnymi polami radiancji (NeRF), które wykorzystują sztuczną inteligencję do przyspieszenia procesu renderowania odwrotnego. Wadą modeli NeRF jest to, że pozostawiają cię z obrazami, których nie możesz łatwo edytować - to nie jest dobre dla projektanta tworzącego coś nowego.
Nowe badania Nvidii rozwiązują ten problem. Nowy potok Nvidia 3D MoMa rekonstruuje obrazy za pomocą trzech funkcji: modelu siatki 3D, materiałów i oświetlenia. Model siatki 3D jest zbudowany z trójkątów. Materiały to tekstury 2D, które są nałożone na siatkę 3D jak skóra. Na koniec 3D MoMa szacuje, w jaki sposób scena jest oświetlona.
Gotowy produkt jest bezpośrednio kompatybilny z silnikami graficznymi i narzędziami do modelowania, których twórcy już używają, co oznacza, że twórcy mogą modyfikować i eksperymentować ze swoimi modelami - zmieniając materiały lub efekty świetlne.
Nvidia zaprezentuje w tym tygodniu proces renderowania odwróconego na konferencji Conference on Computer Vision and Pattern Recognition w Nowym Orleanie. Aby go zademonstrować, zespoły badawcze i kreatywne Nvidii stworzyły modele 3D instrumentów zespołów jazzowych. Zaczęli od 100 obrazów, z których każdy przedstawiał pięć różnych instrumentów. Po tym, jak 3D MoMa stworzyło reprezentacje siatkowe 3D każdego z nich, zespół wyjął modele z ich oryginalnych scen i zaimportował je do platformy symulacji 3D Nvidia Omniverse w celu edycji.
Zmienili materiały, z których wykonane są instrumenty, zastępując oryginalny plastik trąbki innymi materiałami, takimi jak złoto i drewno. Następnie zademonstrowali, w jaki sposób różne materiały odbijają światło w różny sposób.