Affine Correspondences and Challenges in Multi-Sensor Systems

Eichhardt, Iván

Affine Correspondences and Challenges in Multi-Sensor Systems

Subject: Műszaki tudományok/Informatikai tudományok
computer vision
image processing
robust estimation
sensor fusion
3D reconstruction
calibration
depth camera
Time-of-Flight
LiDAR
camera
affine correspondences
Informatika D. I./Az informatika alapjai és módszerei.
számítógépes látás
képfeldolgozás
robusztus becslés
szenzorfúzió
3D rekonstrukció
kalibráció
mélységkamera
Time-of-Flight
LiDAR
kamera
affin megfeleltetések

URI: http://hdl.handle.net/10831/57007

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-1045889

MTMT: 32476666

DOI: 10.15476/ELTE.2020.008

Abstract:

A kamerák és a különböző mélységérzékelők rendszerei a kutatásban és az ipari alkalmazásokban is széles körben használatosak a környezet felderítésére, elemzésére. Eltérő működési elvükből fakadóan bizonyos körülmények között néhány eszköz jobban teljesít ott, ahol más szenzorok elbuknak (pl. passzív kamerák egy fényszegény környezetben). Különböző nézőpontokból, illetve modalitások segítségével pedig a környezet további részleteit fedhetjük fel, amelyre egy szenzor önmagában képtelen. A szenzoradatok fúziója, valamint a kalibráció és a többnézetű geometria elmélete mind kritikus téma, amelyek ezen disszertáció tárgykörébe tartoznak.
A legtöbb alkalmazás megköveteli, hogy képesek legyünk a különböző érzékelőkre egy közös koordináta-rendszerben hivatkozni. Ezt a célt szolgálja a kalibráció folyamata, amelynek során a szenzornézeteket leíró paraméterek becslése és finomítása történik. Ezen probléma megoldásához – a legtöbb geometriai feladathoz hasonlóan – általában egymásnak megfeleltetett pontokat használunk. A megfeleltetéseken keresztül lehetséges az eltérő referenciarendszerek közötti geometria (pl. az epipoláris geometria) meghatározása. Egy következő lépés a környezet rekonstrukciója lehet: a trianguláció segítségével felületek 3D-s pontjait határozhatjuk meg. A képsík egy jellemző pontját – amelyhez további megfelelőket keresünk – általában egy képi régió középpontjaként határozzuk meg. Ezen felül a régió alakja és tájolása is hasznos geometriailag, mivel kapcsolódik a felület vetületéhez. A számítógépes látás területén végzett kutatások csupán egy kis része foglalkozik a régiók alakjában rejlő további lehetőségekkel; és ezekben az esetekben is az egyszerű lyukkameramodellt alkalmazzák. Az érzékelők fúziója a környezetet vizsgáló modern rendszerek fontos része. Eltérő nézetek és modalitások (pl. mélységképek és színes képek) egészíthetik ki egymást egy-egy kihívást jelentő helyzetben. Az alacsony felbontású ToF mélységkamera képe feljavítható egy hasonló perspektivikus nézettel rendelkező hagyományos, nagyfelbontású kamera képével kombinálva, miközben a mélység felhasználható pl. a színes kép utólagos fókuszváltásához.
Az értekezésben elméleti és algoritmikus értelemben vizsgálom az affin megfeleltetéseket két és több nézetű becslési feladatokban, a gyors, robusztus és jó minőségű eredmények érdekében. Ezután a színes-, valamint az alacsonyabb felbontású ToF mélység-kamerák adatfúzióját tárgyalom képkockapárokra, illetve mozgóképekre. Végül a többérzékelős rendszerek kalibrációját tárgyalom LiDAR-ok és kamerák kombinációi esetén.

Abstract:

Multi-device systems of cameras and various depth sensors are widely used these days in the industry. Some can also operate well in conditions where others cannot (e.g. active laser sensors compared to cameras). Various views and sensors of different modalities reveal valuable information about the environment, which is crucial for the robust operation of, e.g., detection or decision-making algorithms. The fusion of sensor data, calibration and multiple-view geometry are critical topics discussed in this dissertation. Sensors are usually placed in a common frame of reference determined by intrinsic and other parameters describing sensor alignment. During the process of calibration, all parameters can be estimated and tuned based on correspondences between sensor views. The mainstream computer vision methods solving geometric tasks use corresponding points across views as an input. Based on the correspondences, it is possible to estimate the underlying geometry of the views (i.e., epipolar geometry). As a next step, the 3D structure of the scene can also be determined. Corresponding image points are established as the extracted centers of dominant image regions. However, the shape and orientation of the regions also contain useful information as they are related to the underlying surface. Only a minority of the computer vision community tries to utilize this inter-region relation, mostly constraining their approaches to the basic pinhole camera model. The first-order approximation of a region correspondence is called an Affine Correspondence (AC). Sensor fusion is also an important part of modern systems that observe and analyze the environment. Sensors of distinct views and different modalities (e.g., depth and color images) complement each other. A low-resolution ToF-depth camera image can be supersampled using a high-resolution color image of the same view as guidance, while depth may provide e.g. a posterior option for refocusing the color view. This thesis provides a thorough investigation of ACs in the theoretical and algorithmic sense to obtain rapid, more robust and high-quality geometric model estimation in two or multiple-view cases. It is demonstrated that ACs are usable in general scenarios where real-world cameras and diverse geometry complicate the task. Next, the data-level sensor fusion of high-resolution color- and lower-resolution ToF cameras is investigated for single pairs of frames and also for video sequences. Finally, the calibration of multi-sensor systems is discussed, that include LiDARs and cameras (wide-angle, fisheye optics, etc.).

Show full item record