Development of an Analysis Process to Assess the Quality of Research Knowledge Graphs

Abstract

This thesis proposes a novel approach for assessing the quality objectively of knowledge graphs, with a particular focus on the Open Research Knowledge Graph (ORKG). The ORKG is a community-driven open platform that aims to make research contributions more discoverable, accessible, and reusable. As a critical component of modern information systems, knowledge graphs enable effective data integration, discovery, and retrieval. However, assessing the quality of these graphs is challenging, given their complexity and heterogeneity. The main problem addressed in this thesis is to develop an approach to assess the quality of knowledge graphs, with a particular emphasis on completeness and accuracy, in the context of the ORKG. The proposed approach is based on a set of quality measures that evaluate different aspects of completeness and accuracy, and it leverages the Knowledge Graph Maturity Model (KGMM) as a framework for assessing the maturity level of the ORKG. The solution is evaluated empirically using a set of ORKG curation grants, and the observed results demonstrate that the proposed approach can effectively identify gaps in completeness and accuracy, and provide a comprehensive assessment of the quality of the ORKG. This assessment can help the ORKG community to prioritize curation efforts and improve the quality of the ORKG. Overall, this thesis contributes to the field of knowledge graph quality assessment by proposing a comprehensive approach for assessing the quality of knowledge graphs, and demonstrating its effectiveness in the context of the ORKG. The proposed approach has the potential to be applied to other knowledge graphs, enabling better data integration, discovery, and retrieval in various domains.

In dieser Arbeit wird ein neuartiger Ansatz zur objektiven Bewertung der Qualität von Wissensgraphen vorgeschlagen, wobei der Schwerpunkt auf dem Open Research Knowledge Graph (ORKG) liegt. Der ORKG ist eine von der Gemeinschaft betriebene offene Plattform, die darauf abzielt, Forschungsbeiträge besser auffindbar, zugänglich und wiederverwendbar zu machen. Wissensgraphen sind ein wichtiger Bestandteil moderner Informationssysteme und ermöglichen eine effektive Datenintegration, -suche und -abfrage. Die Bewertung der Qualität dieser Graphen ist jedoch angesichts ihrer Komplexität und Heterogenität eine Herausforderung. Das Hauptproblem, das in dieser Arbeit behandelt wird, ist die Entwicklung eines Ansatzes zur Bewertung der Qualität von Wissensgraphen, mit besonderem Schwerpunkt auf Vollständigkeit und Genauigkeit, im Kontext des ORKG. Der vorgeschlagene Ansatz basiert auf einer Reihe von Qualitätsmaßstäben, die verschiedene Aspekte der Vollständigkeit und Genauigkeit bewerten, und er nutzt das Knowledge Graph Maturity Model (KGMM) als Rahmen für die Bewertung des Reifegrads des ORKG. Die Lösung wird empirisch anhand einer Reihe von ORKG-Kuratoren evaluiert. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz effektiv Lücken in der Vollständigkeit und Genauigkeit identifizieren kann und eine umfassende Bewertung der Qualität des ORKG ermöglicht. Diese Bewertung kann der ORKG-Gemeinschaft helfen, Prioritäten bei der Kuratierung zu setzen und die Qualität des ORKG zu verbessern. Insgesamt leistet diese Arbeit einen Beitrag zur Bewertung der Qualität von Wissensgraphen, indem sie einen umfassenden Ansatz zur Bewertung der Qualität von Wissensgraphen vorschlägt und dessen Wirksamkeit im Kontext des ORKG demonstriert. Der vorgeschlagene Ansatz hat das Potenzial, auf andere Wissensgraphen angewendet zu werden, um eine bessere Datenintegration, -suche und -abfrage in verschiedenen Bereichen zu ermöglichen.