Accurate Sensor Calibration for Geometric Computer Vision

Pusztai, Zoltán

Accurate Sensor Calibration for Geometric Computer Vision

Date: 2019

Subject: Műszaki tudományok/Informatikai tudományok
3D Scanning
turntable calibration
structure-light
3D scanner calibration
accurate GT data
affine transformations
quantitative evaluation
quadcopter-based GT generation
feature testing
camera-LiDAR calibration
accurate extrinsic parameters
extrinsic calibration
Informatika D. I./Az informatika alapjai és módszerei.
3D szkennelés
forgóasztal kalibráció
strukturált fény
3D szkenner kalibrációs
pontos GT adat
affin transzformációk
kvantitatív kiértékelés
drónra alapuló GT adat generálás
pont és affin jellemzők tesztelése
kamera és LiDAR kalibráció
pontos külső paraméterek
külső kalibráció

URI: http://hdl.handle.net/10831/46546

Link to Library Catalogue: https://opac.elte.hu/Record/opac-EUL01-988544

MTMT: 31195031

DOI: 10.15476/ELTE.2019.132

Abstract:

A disszertáció három témakörben kínált továbbfejlesztett state-of-the-art módszereket a számítógépes látás területén.

Először egy új kalibrációs módszert mutattam be strukturált fényes szkenneléshez. Homográfiák használatával lehetséges a kamera-projektor pixel megfeleltetéseket tovább finomítani szubpixel pontosságra. A pontosabb megfeleltetésekkel a projektor belső paramétereit is pontosabban lehet megbecsülni. Egy új, forgóasztal kalibrációjához kidolgozott módszer is bemutatásra került a forgástengely meghatározásához. A forgóasztallal az objektumról több felvétel készíthető és ezáltal lehetőség nyílik azok 360° fokos szkennelésére. A javasolt módszer a valós adatokon végzett vizuális tesztelés során pontosabb eredményt adott, mint a jelenleg elterjedt módszerek: a szkenner térbeli hibája 0.5 mm alatti. A legjobb tudomásunk szerint ez a legpontosabb strukturált fényt használó szkenner, amely nem speciálisan gyártott eszközökből épült.

Másodszor nagy pontosságú Ground Truth (GT) adatot generáltam a strukturált fényes szkennert és drónfelvételeket használva affin transzformációk kiértékeléséhez. Az affin kovariáns jellegzetes pont detektáló algoritmusok kvantitatív kiértékelésének szakirodalma kevés valós környezetben felvett adatot tartalmaz. A létrehozott adathalmaz felülmúlja a korábbi state-of-the-art összehasonlításokat, melyek homográfia segítségével generáltak affin transzformációkat. Ezek csak síkszerű objektumokat tartalmaztak, vagy pedig statikus kamerát használtak. Továbbá a létrehozott adatbázist kiterjesztettem kültéri környezetben készült drónfelvételekkel. Ebben az esetben a GT adatot a drón kötött mozgásából számoltam ki. Ezenfelül az elterjedt affin kovariáns jellegzetes pontdetektáló algoritmusok kvantitatív összehasonlítását is bemutattam.

Harmadszor, egy egyszerűen használható módszert javasoltam kamera és LiDAR (Light Detection and Ranging) rendszerek kalibrációjához. A bemutatott módszer hétköznapi papírdobozokat használ kalibrációs objektumként. Az iteratív finomítás során a térbeli doboz sarokpontokat illesztjük a LiDAR pontfelhőre, majd a finomított sarokpontok által lehetséges kamera-LiDAR és LiDAR- LiDAR eszközök külső kalibrációja. A módszert egyszerűen ki lehet terjeszteni több kamera és több LiDAR kalibrációjára is. A javasolt módszer mind a szintetikus, mind pedig a valós összehasonlítás során pontosabb eredményt adott, mint a jelenlegi state-of-the-art módszerek.

Abstract:

The dissertation contributes to the state-of-the-art in three particular fields of computer vision. First, a novel calibration technique is presented for structured-light scanning. The application of homographies further refines the camera-projector correspondences to the sub-pixel level when a chessboard is used for the calibration. The refined correspondences make the estimation of the projector intrinsic parameters more accurate. A novel turntable calibration method is also presented for determining its centerline. The turntable makes it possible to obtain scans from different viewpoints; thus, scanning of the object is possible in 360°. The proposed calibration method is visually tested on real-world data, outperforming the commonly used techniques. The measured overall error of the 3D scanner is below 0.5 mm. To the best of our knowledge, this is the most accurate structured-light scanner made from off-the-shelf components. Second, high-quality Ground Truth (GT) data are generated by the structured-light scanner and a quadcopter for affine transformation evaluation. The literature of affine covariant feature comparison lacks benchmarks providing real-world scenarios and quantitative evaluations. The generated data outperforms the state-of-the-art comparisons, which are limited by homographies, i.e. only planar objects can be observed or static camera is considered. Moreover, the comparison database is extended by images taken outdoor by a quadcopter mounted camera. The GT are calculated from the restricted flight-path of the quadcopter. Furthermore, a comparison of the well-known affine covariant feature detectors is carried out. Third, an easy-to-use calibration method is presented for camera-LiDAR (Light Detection and Ranging) system calibration. This technique uses a simple cardboard box as the calibration object. Iterative refinement is applied to refine the spatial box corners in the LiDAR point cloud. Based on the refined corners, camera- LiDAR and LiDAR- LiDAR extrinsic calibrations are possible. The method is extended for camera- LiDAR system calibration, containing multiple sensors of both types. It is tested on both synthetic and real-world data, outperforming state-of-the-art calibration techniques.

Show full item record