Visual object tracking using siamese neural networks
Autor práce: Ing. Milan OndrašovičŠkoliteľ: doc. Mgr. Ondrej Šuch, PhD.
Dátum obhajoby: 23.8.2022
Študijný program: aplikovaná informatika
Oponent 1: prof. Ing. Gregor Rozinaj, PhD.
Oponent 2: Dr. MSc. Lucas Alexandre Ramos
Slovenský abstrakt:
ONDRAŠOVIČ Milan, Ing.: Vizuálne trasovanie objektov použitím siamských neurónových sietí. [Dizertačná práca] Žilinská univerzita v Žiline. Fakulta riadenia a informatiky.
Katedra matematických metód a operačnej analýzy. - Vedúci dizertačnej práce: doc.
Mgr. Ondrej Šuch, PhD. - Žilina: FRI ŽU, 2022, 140 strán.
V tejto dizertačnej práci predstavíme výsledky nášho výskumu v rámci vizuálneho trasovania objektov použitím hlbokého strojového učenia so zameraním na analýzu dopravy.
Táto rozprava sa vo veľkej miere opiera o podobnostné učenie, ktorému dominujú siamské
neurónové siete. Na základe prieskumu moderných prístupov k trasovaniu spoločne s ich
nedostatkami bolo prekrývanie objektov vybrané ako problém, na ktorý sa budeme zameriavať. Dôsledky úplného prekrytia bola snaha riešiť pomocou re-identifikácie objektov,
pričom čiastočné prekrytie sme adresovali použitím mechanizmu pozornosti. Latentné
a vnorené priestory boli využité pre zlepšenie propagácie ID objektu medzi snímkami.
Spomínaný prístup založený na pozornosti je schopný konzistentne vylepšiť jednu z najlepších architektúr trasovačov objektov podľa nášho výberu, čo tvorí náš prvý príspevok.
Evaluácia je postavená na ustanovených metrikách určených na vyhodnocovanie trasovania viacerých objektov. Naše dva ďalšie príspevky sú aktuálny, hĺbkový prehľadový
článok zameraný na siamské vizuálne trasovanie objektov a vývoj novej metódy slúžiacej na posudzovanie kvality reprojekcie homografie, ktorá bola súčasťou nášho pokusu
pomôcť procesu trasovania za použitia perspektívnej transformácie.
Kľúčové slová: vizuálne trasovanie objektov, hlboké strojové učenie, Siamské neurónové
siete, latentné priestory, mechanizmus pozornosti, homografia, analýza dopravy
Anglický abstrakt:
ONDRAŠOVIČ Milan, Ing.: Visual Object Tracking Using Siamese Neural Networks.
[Dissertation thesis] University of Žilina in Žilina. Faculty of Management Science and
Informatics. Department of Mathematical Methods and Operations Research. - Thesis
supervisor: doc. Mgr. Ondrej Šuch, PhD. - Žilina: FRI ŽU, 2022, 140 pages.
In this dissertation thesis, we disseminate the results concerning our research in visual
object tracking using deep machine learning with an emphasis on traffic analysis. This
treatise largely revolves around similarity learning, an area dominated by Siamese neural
networks. Based on the review of modern approaches to tracking and their weaknesses,
an object occlusion was selected as the problem to focus on. To address this, object
re-identification was explored to tackle a complete occlusion, whereas to tackle partial
occlusion, we adopted an attention mechanism. Latent spaces and embeddings were
exploited to enhance the object ID propagation between frames. The attention-based
approach is able to consistently improve a state-of-the-art architecture of our choice as
measured by the established metrics for evaluating multi-object tracking frameworks,
making our first contribution. In addition, there are two other contributions from this
work. Specifically, an up-to-date comprehensive survey of Siamese-based visual object
tracking and the development of a new homography ranking method, which was our
attempt to aid the tracking process using a perspective transformation.
Keywords: visual object tracking, deep machine learning, Siamese neural networks,
latent spaces, attention mechanism, homography, traffic analysis
Autoreferát dizertačnej práce
Text práce