Visipedia - Embedding-driven Visual Feature Extraction and Learning

Abstract

Multidimenzionální indexování je účinným nástrojem pro zachycení podobností mezi objekty bez nutnosti jejich explicitní kategorizace. V posledních letech byla tato metoda hojně využívána pro anotaci objektů a tvořila významnou část publikací spojených s projektem Visipedia. Tato práce analyzuje možnosti strojového učení z multidimenzionálně indexovaných obrázků na základě jejich obrazových příznaků a přestavuje metody predikce multidimenzionálních souřadnic pro předem neznámé obrázky. Práce studuje příslušené algoritmy pro extrakci příznaků, analyzuje relevantní metody strojového účení a popisuje celý proces vývoje takového systému. Výsledný systém je pak otestován na dvou různých datasetech a provedené experimenty prezentují první výsledky pro úlohu svého druhu.

Multidimensional embedding is a powerful method of representing similarity measures among objects without the need for their explicit categorization. It has been increasingly used in recent years to annotate objects making an important part of the Visipedia project and its related work. This work explores the possibilities of learning from embedding-annotated images using their visual attributes and develops methods of predicting embedding coordinates for previously unseen images. It studies the relevant feature extraction and learning algorithms and describes the whole process of design and development of such a system using common machine learning approaches. The system is tested and evaluated with two different datasets and the performed experiments present the first results for a task of its kind.