Methods for Estimating 3D Human Pose and Location

Véges, Márton

Methods for Estimating 3D Human Pose and Location

Subject: Műszaki tudományok/Informatikai tudományok
deep learning
human pose estimation
localization
absolute pose
Informatika D. I./Információs rendszerek
mélytanulás
humán pózbecslés
lokalizáció
abszolút póz

URI: http://hdl.handle.net/10831/85744

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-1107784

MTMT: 33927579

DOI: 10.15476/ELTE.2022.046

Abstract:

Absztrakt
3D humán pózbecslő és lokalizációs módszerek

A 3D humán pózbecslés célja, hogy egy kép vagy videó alapján megbecsüljük egy személy fontosabb kulcspontjainak térbeli koordinátáit. A koordinátákat egy erre alkalmas kamera-központú rendszerben adhatjuk meg. A problémának számos potenciális alkalmazása van, többek közt mozgásrögzítés, viselkedés- és sportanalitika.
A neurális hálók újbóli elterjedése után gyors fejlődésen ment keresztül a terület, a hibaráták folyamatosan csökkentek. Ez azonban főleg a stúdióban felvett videókra korlátozódott, a természetes körülmények közötti felvételeken akár kétszer akkora is lehetett a hiba.
Ennek oka, hogy pontos mérésekkel rendelkező 3D póz adatbázisok készítése igen nehéz, speciális felszerelés szükséges, ami csak beltérben működik. Emiatt viszonylag kevés kültéri felvétel van, és ezek korlátozottak a háttér, kameraszögek és ábrázolt mozgások tekintetében. Figyelembe véve, hogy milyen sok adat kell egy tipikus mélyháló betanításához, további architekturális fejlesztések szükségesek, amelyek csökkentik a tanítóadatok iránti igényt.
Egy másik probléma a feladat egyszerűsítéséből fakad: a legtöbb algoritmus csak a derékhoz relatíven becsli meg a koordinátákat, eltekintve a személynek a térben vett helyzetétől. Egy embert tartalmazó felvétel esetén lehet, hogy ez az információ nem szükséges, azonban több szereplő esetén az egymáshoz való elhelyezkedés is számít.
Ebben a disszertációban négy olyan módszert mutatok be, amelyek ezen problémákra próbálnak választ nyújtani. Az első algoritmus a tanítóadatokban levő kevés kamerával foglalkozik, amely túltanuláshoz vezethet. Egy sziámi architektúrájú hálót vezetek be, ami ekvivariáns beágyazást tanul meg. Az ekvivariancia segítségével új kameraszögekre pontosabb eredményeket kapunk, augmentáció hiányában is.
A második eljárás az irodalomban korábban elérhető naiv helybecslő algoritmusokon javít. Ezek PnP (Perspective-n-Point) alapú megközelítést használnak, amihez szükséges egy pontos 2D és 3D becslés. Ha bármelyik pontatlan, akkor az eredményben többszöröződhet a hiba. A póz helyének közvetlen becslésével stabilabb eredményeket kaphatunk.
A következő módszer célja \RGBD (mélységfelvételt is tartalmazó) videók használata gyenge felügyeleti jelként. A kiegészítő adatbázis jelentősen javít az eredményeken, különösen a lokalizáció esetén.
Végül, a videókon előforduló rövid idejű okklúziókkal foglalkozom. A videó alapú módszerek még rövid kitakarás esetén is rossz eredményeket adnak, akkor is, ha az a szomszédos képkockákból kikövetkeztethető volna. A javasolt módszer egy tetszőleges pózbecslő után elhelyezhető, mint egy extra pontosságjavító lépés.
Az eljárások erejét részletes kvantitatív kísérletekkel igazolom.

Abstract:

Abstract Methods for Estimating 3D Human Pose and Location The goal of 3D human pose estimation is to predict the location of the joints of a person, based on an image or video input. The joint locations are expressed in a camera centric coordinate-system. The task has several potential applications, including motion capture, behavior and sports analytics. With the aid of neural networks, huge leaps were made in recent years in terms of performance, reaching very low errors on studio datasets. However, on in-the-wild datasets, the error rate still lags behind, being often twice as large. From a practical point of view, it indicates that more work is needed before these methods can be used in the real world. The underlying reason is simple: it is quite hard to create a 3D pose annotated dataset as an expensive multi-camera system with time-of-flight sensors is needed for accurate measurement. As a result, many datasets have a constrained setting with limited diversity in background, camera views and performed actions. Considering the data-hungriness of deep learning methods, alternative architectures must be found that do not need large amount of training examples. Another problem of current pose estimation methods is their restricted scope: they predict the pose relative to the hip only, ignoring the localization of the person. When only a single person is present in the image that is not an issue, but with multiple people that information might be needed. In this thesis, I propose four methods to solve these problems. The first method tackles the issue of few cameras in the training set that leads to overfitting. A siamese architecture is introduced that learns an equivariant embedding with regards to camera views. The equivariant property ensures that the network has good results on unseen camera poses, even without augmentations. The second method solves the problem of naive localization used in previous works. Those approaches employ a Perspective -n -Point (PnP) method that needs accurate 2D and 3D poses for localization. When either of those is erroneous, the PnP algorithm diverges resulting in an incorrect placement of the pose. By using a direct estimation of the location, the results become more stable. Next, the inclusion of RGB-D datasets is proposed as an auxiliary training database for pose estimation. The depth maps accompanying the images provide a weak training signal. The method shows improved prediction performance, especially for the localization task. Finally, an approach is introduced to solve temporary occlusions in videos. Temporal methods return an incorrect pose when a person is occluded, even if it is for a short time, when the neighboring frames hold enough information to interpolate the pose inbetween. The proposed algorithm can be applied as a refining step after any temporal method, correcting its predictions. I prove the accuracy of the algorithms with extensive quantitative tests.

Show full item record