Nová neuronová síť od Applu vytváří realistické 3D modely z jediného obrázku
Apple představila nový model umělé inteligence, který dokáže rekonstruovat trojrozměrné objekty pouze z jednoho snímku. Systém přitom zohledňuje osvětlení i odrazy, takže výsledek působí максимально realisticky.
Metoda nese název LiTo (Surface Light Field Tokenization). Využívá latentní prostor k současnému modelování geometrie objektu i jeho vzhledu. Pro vyšší míru detailu bere v úvahu také úhel pohledu a světelné podmínky.
Systém funguje ve dvou krocích: nejprve enkodér převede pohyb nebo polohu objektu do digitálního signálu, poté dekodér obnoví 3D model včetně parametrů odlesků a odrazů. Díky tomu metoda dokáže zachytit i složité světelné efekty.
Pro trénování bylo použito tisíce objektů snímaných ze 150 úhlů a při třech různých světelných podmínkách. Následně byl model naučen vytvářet takové reprezentace pouze z jednoho obrázku, což výrazně zjednodušuje 3D rekonstrukci.
Podrobnosti Apple zveřejnila ve volném přístupu.
Mohlo by vás také zajímat: