Scholarly Knowledge Graphs and Systematic Reviews share a primary purpose: Compiling a scientific state-of-the-art by comparing relevant scholarly contributions for a specific research question. Knowledge Graphs, however, do not represent a particularly accessible data structure for human editing. Instead, a landscape of Systematic Review Services supports researchers with the Systematic Review methodology. Nonetheless, integration of Systematic Review Services promises great potential for growth of scholarly Knowledge Graphs.
This thesis proposes OSyRIS, a comprehensive web service approach and implementation for integrating arbitrary Systematic Review Services with a scholarly Knowledge Graph, namely ORKG. The service bases on a threefold approach: First, a plausible infrastructure specification. Upon that, the service seamlessly integrates with the existing ORKG ecosystem. Second, ScopedDBSCANScoring, a novel scoring algorithm for predicate mappings based on pivotal Systematic Review data. Application of the algorithm fosters conceptual integrity of the underlying Knowledge Graph. And third, a User Interface represented by a widget of interactive modals that guide Systematic Review Service users through the data export process. At that, two task-specific UI elements are deliberately designed in order to support selection of quality mappings.
Based on the implementation, OSyRIS is shown in-depth quality: First of all, a representative integration into a popular Systematic Review Service provides an overall proof of correct functionality. Empirical evaluations furthermore support that the ScopedDBSCANScoring algorithm outperforms a predicate label only-based mapping baseline that is currently implemented in ORKG. As a preceding contribution, a gold standard data set for evaluation of label and literal-based Knowledge Graph disambiguation algorithms is presented. For the mapping task specific User Interface, an empirical evaluation retrieves most usable of a few alternative element representations.
Wissenschaftliche Knowledge Graphs und Systematic Reviews dienen einem gemeinsamen Zweck: Der Zusammenstellung eines aktuellen Stands der Wissenschaft (state-of-the-art), durch den Vergleich von relevanten Beiträgen zu einer bestimmten Forschungsfrage. Knowledge Graphs stellen jedoch keine besonders zugängliche Datenstruktur für die Bearbeitung durch Menschen dar. Stattdessen unterstützt eine Landschaft von Systematic Review-Diensten Forscher bei der Systematic Review-Methodik. Dennoch verspricht die Integration von Systematic Review-Diensten großes Wachstumspotenzial für wissenschaftliche Knowledge Graphs.
Diese Arbeit stellt OSyRIS vor, den umfangreichen Ansatz samt Umsetzung eines Web-Dienstes für die Integration von beliebigen Systematic Review-Diensten mit einem wissenschaftlichen Knowledge Graph, nämlich ORKG. Der Dienst basiert auf einem dreistufigen Ansatz: Erstens, einer verständlichen Infrastruktur-Spezifikation. Anhand dieser lässt sich der Dienst nahtlos mit dem existierenden ORKG-Ökosystem integrieren. Zweitens, ScopedDBSCANScoring, einem neuartigen Bewertungsalgorithmus für Predikat-Übersetzungen basierend auf ausschlaggebenden Systematic Review-Daten. Anwendung des Algorithmus pflegt die konzeptionelle Integrit ̈at des zugrundeliegenden Knowledge Graphs. Und drittens, einer Benutzerschnittstelle die durch ein Widget bestehend aus Interaktionsmodalen besteht, welche wiederum Nutzer:innen von Systematic Review-Diensten durch den Datenexport fu ̈hren. Dabei werden zwei aufgabenspezifische Schnittstellenelemente sorgfältig entworfen, um Nutzer:innen bei der Wahl hochwertiger Übersetzungen zu untertützen.
Basierend auf der Umsetzung wird OSyRIS umfassende Qualität nachgewiesen: Zunächst zeigt eine repräsentative Integration in einen bekannten Systematic Review-Dienst die korrekte Funktionalität des Dienstes. Eine empirische Evaluierung unterstützt, dass die Leistung des ScopedDBSCANScoring-Algorithmus ein lediglich auf Predikat-Bezeichnern beruhendes Übersetzungsverfahren, wie es derzeit in ORKG implementiert ist, übertrifft. Als einhergehender Beitrag dieser Arbeit wird ein Gold-Standard-Datensatz für die Bewertung im Systematic Review-Kontext eingesetzter Algorithmen für die Knowledge Graph-Disambiguation präsentiert. Für die Benutzerschnittstelle, mit speziellem Bezug auf die Übersetzungsaufgabe, stellt eine empirische Evaluierung die benutzbarsten einiger alternativen Darstellungen heraus.
