Strojové porozumění s použitím znalostní báze

Abstract

V tejto práci je skumaná schopnosť používať zdravý rozum v moderných systémoch založených na neurónových sieťach. Zdravým rozumom je myslená schopnosť extrahovať z textu fakty, ktoré nie sú priamo spomenuté, ale implikuje ich situácia v texte. Cieľom práce je poskytnúť náhľad na súčasný stav výskumu v tejto oblasti a nájsť sľubné výskumné smery do budúcnosti. V práci je implementovaný jeden z najmodernejších modelov na odpovedanie na otázky a je ďalej použitý na experimenty v rôznych situáciách. Narozdiel od starších prístupov, tento model dosahuje porovnateľné výsledky s najlepšími známymi modelmi aj keď jeho architektúra neobsahuje žiadne prvky zamerané konkrétne na zlepšenie schopnosti zdravo uvažovať. Taktiež boli nájdené štatistické artefakty v populárnej sade dát s otázkami vyžadujúcimi zdravé uvažovanie. Tieto artefakty môžu byť použité štatistickými modelmi na nájdenie správnej odpovede aj v prípadoch, kedy by to nemalo byť možné. Na základe týchto zistení sú v práci poskytnuté odporúčania a návrhy pre výskum do budúcnosti.

In this thesis, the commonsense reasoning ability of modern neural systems is explored. The goal is to provide insight into the current state of research in this area and identify promising research directions. A state-of-the-art question-answering model has been implemented and experimented with in various scenarios. Unlike in older approaches, the model achieved comparable results with best available models for the target task without using any task-specific architecture. Furthermore, unintended statistical biases are discovered in a popular commonsense reasoning dataset which allow models to compute the correct answer even when it does not have sufficient information to do so. Based on these findings, recommendations and possible future research areas are suggested.