Una singola immagine 2D del volto di una persona può essere utilizzata per creare un avatar 3D utilizzando l’approccio di apprendimento automatico 3D Avatar Diffusion.
Microsoft ha sviluppato un modello di diffusione in grado di costruire un avatar tridimensionale (3D) da una singola immagine bidimensionale (2D) di un volto umano. Il modello di diffusione è stato sviluppato da un gruppo di ricercatori di Microsoft Research ed è stato presentato in un articolo apparso sulla rivista arXiv.
L’avatar 3D può quindi essere utilizzato per fornire un’esperienza di realtà virtuale (VR) o realtà aumentata (AR) o semplicemente per presentare una rappresentazione 3D realistica della persona per il gioco o altri usi.
Avatar 3D basati su un algoritmo informatico
La diffusione dell’avatar 3D si basa sul modello di diffusione, un metodo di apprendimento automatico. I modelli di diffusione sono modelli generativi, il che significa che possono generare nuovi dati paragonabili ai dati di apprendimento. Sebbene i modelli di diffusione siano stati precedentemente utilizzati per produrre immagini 3D da fotografie 2D, l’ADM è il primo modello di diffusione in grado di produrre un avatar 3D realistico da una singola immagine 2D.
Per addestrare l’algoritmo, i ricercatori hanno utilizzato un set di dati di oltre 200.000 modelli di volti 3D. C’era una grande varietà di tonalità della pelle, acconciature e tratti del viso tra i volti del campione. Quindi, con una sola immagine 2D, l’ADM è stato in grado di costruire un metaverso convincente. Tuttavia, una volta compreso come sono correlati l’immagine 2D e il modello del volto 3D.
Gli avatar 3D vengono generati automaticamente da modelli generativi.
Per lo sviluppo automatico di avatar digitali 3D, questo studio raccomanda un modello generativo 3D. Tuttavia, sono mostrati come modelli di diffusione e campi di radianza neuronale. Le proibitive esigenze di memoria ed elaborazione associate al 3D rendono difficile generare le complesse funzionalità richieste per avatar di alta qualità. Gli sviluppatori consigliano di utilizzare la rete di dispersione di roll-out (Rodin) per risolvere questo problema.
Bill Gates in precedenza aveva affermato che la sua vecchia attività stava creando software per ufficio Teams con avatar 3D e altre funzionalità compatibili con il metaverso. Ora che Microsoft sta collaborando con Meta e Mark Zuckerberg. Rendere Teams compatibile con il social network Workplace per le imprese di quest’ultimo. I team potrebbero persino avere un ingresso diretto nel metaverso.