Temporal Reconstruction Methods in Self-Supervised Machine Learning

Milacski, Zoltán Ádám

Temporal Reconstruction Methods in Self-Supervised Machine Learning

Subject: Műszaki tudományok/Informatikai tudományok
Machine Learning
Unsupervised Learning
Self-Supervised Learning
Regularized Least Squares
Deep Neural Network
Group Sparse Representation
Time Series
Video
Informatika D. I./Információs rendszerek
Gépi Tanulás
Felügyeletlen Tanulás
Önfelügyelt Tanulás
Regularizált Legkisebb Négyzetek
Mély Neurális Hálózat
Csoport Ritka Reprezentáció
Idősor
Videó

URI: http://hdl.handle.net/10831/62121

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-1078353

MTMT: 32643465

DOI: 10.15476/ELTE.2021.018

Abstract:

A Gépi Tanulás a Mesterséges Intelligencia egyik részterülete, amely példákból tanuló algoritmusokkal foglalkozik. Az elmúlt évtizedben a Felügyelt Tanulás, amely emberek által annotált bemenet-célváltozó párokat használ példákként, számos lenyűgöző eredményt ért el, azonban az emberi mintagyűjtési kapacitás behatárolja a lehetőségeit. Ezért a Felügyeletlen Tanulási technikák egyre nagyobb figyelmet kapnak, amelyek pusztán a bemenetekből is képesek tanulni. Speciálisan az Önfelügyelt Tanulás a bemenetekből automatikusan generált ál-bemenetekkel és ál-célváltozókkal dolgozik; ezen belül kitüntetett esetet képeznek a Rekonstrukciós Feladatok, amikor az ál-célváltozó maga a bemenet. Noha ezek az eljárások magukban is működőképesek – pl., helyreállítják a pontos bemenetet, vagy magas szintű rejtett változókat nyernek ki az adatokból – a kevés címkézett példával rendelkező Felügyelt Tanulási feladatokat is képesek jól kondicionálttá tenni közös megoldások kikényszerítésével.

A Rekonstrukciós Feladatok iránti fokozott érdeklődés ellenére a publikált vizsgálatok nagy része strukturálatlan vagy képi változókra korlátozódik, figyelmen kívül hagyva az idősorokban és videókban természetes módon megjelenő időbeli összefüggéseket. Ezen felül az egyes módszerek gyakran egyetlen Rekonstrukciós Feladatra vannak specializálva, ahelyett, hogy több feladatból együttesen tanulnának. Ezek súlyos limitációknak tekintendőek, mivel a szekvenciális adatszerkezet valamint a különféle problémák közötti kapcsolatok kiaknázása jobb változók tanulását teszi lehetővé.

Disszertációmban ezen hiányosságok pótlására törekszem 5 időbeli Önfelügyelt Rekonstrukciós Feladat és azok megoldásainak bemutatásával. Először két paraméter nélküli optimalizálási függvényt vezetek be idősor zajtalanításra, melyek jó eredményeket érnek el kiugró illetve trendváltási időpontok detektálásában. Másodszor egy Mély Neurális Hálózatot (egy Konvolúciós Rekurrens Autoenkódert) ismertetek videó osztályozás előtanítására, mely új, csoport k-ritka aktivációs függvényekkel dolgozik, és képes széles körben alkalmazott eljárásokat túlteljesíteni. Harmadszor két iterációkra bontott optimalizálási függvényt taglalok Mély Neurális Hálózatok által definiált prior költségekkel lineáris kép és videó visszaállításra; melyek ugyanazon háló paraméterekkel képesek többféle feladatot megoldani, hatékonyabban más hasonló metódusoknál. Az eljárások alkalmazhatóságát és előnyeit empirikus módon, több adatbázison végzett reprodukálható kísérletek formájában támasztom alá.

Abstract:

Machine Learning (ML) is the area of Artificial Intelligence (AI) that deals with algorithms that are learning from examples. In the previous decade, Supervised Learning (SL), which uses human annotated input-target pairs as examples, has reached many impressive results, but it is limited by the human capacity of collecting enough samples. Therefore, Unsupervised Learning (UL) methods are gaining more attention, which can learn solely from the inputs. In particular, Self-Supervised Learning (SelfSL) automatically generates pseudo-inputs and pseudo-targets from the inputs; a notable special case is the set of Reconstruction Problems (RecPs), when the pseudo-target is the input itself. While these can operate on their own—e.g., by providing accurate recoveries, or uncovering high-level latent features—they may also regularize SL with few labeled samples by imposing shared solutions between the two tasks. Despite the increased interest in RecPs, many of the existing works are restricted to unstructured or image features, ignoring temporal relationships naturally arising via time series and videos. Furthermore, each method is often specialized for solving an individual RecP, rather than learning from multiple tasks jointly. Both of these are severe limitations, as one may expect to learn better features by exploiting the sequential structure and the relations between the various problems. In this thesis, towards filling in these gaps, I propose 5 time-based RecPs and their respective solutions for SelfSL. First, I propose two parameter-free optimization functions for time series denoising, yielding good results in outlier and change-point detection. Second, I introduce a Deep Neural Network (DNN) (a Convolutional Recurrent Autoencoder) with novel group k-sparse activation functions for pretraining before video classification, outperforming widely used baseline procedures. Third, I present two unrolled optimization functions with DNN prior objectives for linear image and video restoration, respectively; capable of solving various tasks with the same network parameters, being better than similar preceding works. The applicability and the benefits of the suggested findings are empirically validated in reproducible experiments across multiple data sets.

Show full item record