I ricercatori della NTU Singapore propongono PointHPS: un framework AI per la stima accurata della posa e della forma umana da nuvole di punti 3D

Con i numerosi progressi nel campo dell’intelligenza artificiale, negli ultimi anni la stima della forma umana (HPS) è diventata un’area di ricerca sempre più importante. Con molte applicazioni pratiche, tra cui motion capture, esperienza virtuale e realtà mista, ripristinare i corpi umani in 3D è diventata una sfida importante. La stima delle posture e della disposizione del corpo, insieme all’analisi delle forme e delle proprietà fisiche dei corpi degli individui nello spazio tridimensionale, è un passo in questo processo. Un esempio è l’uso di modelli umani parametrici, come il modello SMPL, che raffigura corpi umani con proprietà di forma e posizione.

Negli ultimi anni la previsione di questi modelli parametrici dalle immagini 2D è diventata molto più semplice. Tuttavia, in alcune circostanze, le immagini 2D presentano degli inconvenienti, come ambiguità della profondità e problemi di privacy. Questa è una situazione in cui i dati della nuvola di punti 3D tornano utili. La stima accurata delle pose e delle forme umane dalle nuvole di punti 3D è stata resa possibile dal progresso dei sensori di profondità e dall’accesso a set di dati su larga scala.

In un recente articolo, un team di ricercatori ha presentato un quadro metodologico chiamato PointHPS per ottenere HPS 3D accurati da nuvole di punti acquisite in ambienti reali. PointHPS utilizza un design a cascata in cui le proprietà dei punti vengono migliorate in modo iterativo ad ogni iterazione. Utilizza un processo di ottimizzazione iterativo in cui i dati della nuvola di punti di input sono soggetti a una serie di tecniche di downsampling in diverse fasi. Questi processi cercano di estrarre segnali locali e globali dai dati.

Due moduli avanzati sono inclusi in PointHPS per migliorare le procedure di estrazione delle caratteristiche. Il primo è la cross-stage feature fusion (CFF), un modulo che consente l’implementazione delle funzionalità su più scale, consentendo un trasferimento efficiente delle informazioni tra le diverse fasi della rete. Aiuta a mantenere il contesto e acquisire informazioni. Il secondo è IFE (Intermediate Feature Enhancement), che si concentra sulla raccolta di caratteristiche in modo consapevole della struttura del corpo umano. Dopo ogni fase, la qualità delle caratteristiche aumenta, rendendole più adatte per una stima accurata della posa e della forma.

Il team ha condotto test su due criteri chiave per fornire una valutazione completa in una varietà di condizioni:

1. Set di dati del mondo reale: questo set di dati contiene una varietà di partecipanti e azioni registrate in un ambiente di laboratorio utilizzando sensori commerciali reali. Rappresenta un ambiente più stimolante e realistico.

2. Creazione del set di dati: questo set di dati è stato creato tenendo rigorosamente conto delle condizioni reali, come ad esempio le persone che si vestono in spazi esterni affollati. Viene inoltre fornito il controllo di una varietà di parametri ambientali.

Test approfonditi hanno rivelato che PointHPS supera lo stato dell’arte su tutti i parametri di valutazione con il suo approccio solido all’estrazione e all’elaborazione delle caratteristiche puntuali. L’efficacia dell’architettura a cascata proposta, ottimizzata dai moduli CFF e IFE, è ulteriormente supportata dalle indagini sull’ablazione. Il team intende rilasciare i propri modelli, codici e dati pre-addestrati da utilizzare in ulteriori ricerche sulle nuvole di punti HPS. La ricerca futura in quest’area dovrebbe essere semplificata, il che aumenterà anche la capacità di stimare con precisione la posizione e la forma 3D umana dai dati delle nuvole di punti del mondo reale.

Controlla il carta, Pagina del progettoE github. Tutto il merito di questa ricerca va ai ricercatori di questo progetto. Inoltre, non dimenticare di iscriverti Abbiamo oltre 29.000 subReddit ML, Oltre 40.000 comunità Facebook, Canale Discordia, E Newsletter via e-maildove condividiamo le ultime notizie sulla ricerca sull’intelligenza artificiale, interessanti progetti sull’intelligenza artificiale e altro ancora.

Se ti piace il nostro lavoro, adorerai la nostra newsletter.