Shortcut: WD:ORWikidata:Werkzeuge/OpenRefine
.svg)
OpenRefine' ist ein kostenloses Werkzeug zur Datenverarbeitung, das zur Bereinigung von Tabellendaten und zur Verbindung mit Wissensdatenbanken, unter anderem Wikidata, verwendet werden kann. Es wurde früher von Google (unter dem Namen Google Refine) entwickelt und wird jetzt von einer Community entwickelt.
Diese Seite sammelt OpenRefine-Anleitungen, die nützlich sein können, um Datensätze in Wikidata zu importieren oder um Datensätze um zusätzliche Daten aus Wikidata zu ergänzen. Du kannst dich bei Fragen zur Software auf der Diskussionsseite melden. Wenn dir die Verwendung des Werkzeugs Spaß macht, kannst du das mit dem {{User loves OpenRefine}}-Babel zeigen.
OpenRefine unterstützt derzeit nur den Abgleich von Datenobjekten. Lexeme werden mit Stand vom September 2021 nicht unterstützt.
Install and run OpenRefine
OpenRefine can be downloaded as an application. It works on desktop and laptop computers with Windows, Mac and Linux operating systems. It runs a small server on your computer and you then use a web browser to interact with it. It works best with browsers based on Webkit, such as Google Chrome, Chromium, Opera and Microsoft Edge, and is also supported on Firefox.
OpenRefine has a graphical user interface which is available in more than 15 languages.
Install OpenRefine on your own desktop or laptop computer
You can find and download the latest stable release of OpenRefine here.
Run OpenRefine on PAWS
Since May 2021, everyone with a registered Wikimedia account can run OpenRefine in PAWS on Wikimedia's Cloud Services. Please note that this is an experimental feature which is not supported by the OpenRefine team itself, and which may break or malfunction. It is however an interesting option for people who can't install software on their local computer.
PAWS is a Wikimedia Cloud tool that provides hosted access to Jupyter notebooks and other tools without needing any local installation.
You can access your own installation of OpenRefine with this link: https://hub-paws.wmcloud.org/hub/user-redirect/openrefine. You'll have to login with your wiki credentials, but don't tick Remember me box: as all files written on PAWS are publicly available, you don't want to let your credentials accessible. It is also possible that you will get an error message; if that is the case, then refresh the page and it should work.
Please contact YuviPanda with questions about OpenRefine via PAWS.
Hauptfunktionen
Wikidata-Abgleich
In OpenRefine steht Abgleichen (reconciliation) für den Prozess der Verknüpfung von Freitext-Tabellenzellen mit Identifikatoren in Wissens-Datenbanken. OpenRefines integrierte Abgleichsfunktionen machen es zu einem vielseitigen Werkzeug zum Abgleichen von Tabellendaten mit einer Vielzahl von Datenbanken, darunter Wikidata.
Das OpenRefine-Wiki enthält eine detaillierte Anleitung über den Abgleichsprozess. Hier die Hauptfunktionen:
- Beschränke den Abgleich auf eine Wikidata-Klasse. Nur Datenobjekte, die einer Unterklasse dieser Wikidata-Klasse angehören, werden berücksichtigt;
- Nutze in deinem Datensatz mehrere Spalten und ordne diese Wikidata-Eigenschaften zu, die den Abgleich verfeinern und die Entscheidung bei gleichen Namen erleichtern;
- Nutze externe Identifikatoren deines Datensatzes und von Wikidata, um die Datenobjekte abzugleichen;
- Nutze die Seitenlinks deines Datensatzes als externe Identifikatoren - wenn diese Wikimedia-Seiten mit einem Wikidata-Datenobjekt verknüpft sind, werden sie automatisch damit abgeglichen.
Ziehe in Erwägung, dich mit den folgenden Anleitungen zu befassen, wenn du die Abgleichsfunktionen nutzen möchtest:
- Die Funktionen werden von Owen Stephens in seiner Video-Aufzeichnungs-Reihe zu dem Thema detailliert erklärt.
- ArthurPSmith hat die Nutzung in Wikidata bei der WikidataCon 2017 vorgeführt.
APIs can be, for instance a search on frlabels with wikidata thanks to this link https://wikidata.reconci.link/fr/api.
Erweiterung der Daten
Diese Funktion ist ab OpenRefine 2.8 verfügbar.
Sobald eine Spalte deiner Tabelle mit Wikidata abgeglichen ist, kannst du Daten aus Wikidata ziehen und in deinem Datensatz weitere Spalten erstellen. Wenn es für eine Eigenschaft mehrere Aussagen gibt, werden die Werte als Aufzeichnungen in OpenRefine gruppiert: Sie werden in zusätzlichen Zeilen gespeichert und die ursprüngliche abgeglichene Spalte bleibt frei. OpenRefines Aufzeichnungsmodus ist möglicherweise geeigneter, wenn du die Tabelle später weiter verändern möchtest.
Du kannst die Funktion für die neu erstellten Spalten rekursiv nutzen, wenn sie Wikidata-Datenobjekten entsprechen. So kannst du die Wikidata-Darstellung für das gesamte Diagramm untersuchen. Es ist auch möglich, zu konfigurieren, dass die Eigenschaften über bestimmte Wege abgerufen werden (beispielsweise gefiltert nach Rang oder Fundstellen).
Wikidata-Bearbeitung
Diese Funktion ist ab OpenRefine 3.0 verfügbar.
OpenRefine kann Ihnen dabei helfen, tabellarische Daten in Wikidata-Anweisungen umzuwandeln. Dies funktioniert durch die Erstellung eines Schemas - einer Vorlage für die Bearbeitung von Wikidata, die auf jede Zeile Ihrer Tabelle angewendet wird. Sobald du ein Schema erstellt hast, kannst du das tun:
- eine Vorschau der Wikidata-Bearbeitungen ansehen und diese manuell inspizieren;
- alle vom Werkzeug automatisch aufgeworfenen Probleme analysieren und beheben;
- deine Änderungen in Wikidata hochladen, indem du dich mit deinem eigenen Konto anmeldest;
- die Änderungen in das QuickStatements v1-Format exportieren.
Weitere Einzelheiten findest du auf der Bearbeiten-Unterseite. Viele Tutorials sind verfügbar, um dir den Einstieg zu erleichtern.
Geheimnisse
OpenRefine-Arbeitsabläufe können geteilt werden, indem die JSON-Darstellung der Bearbeitungshistorie kopiert wird. Dies stellt die Befehle dar, die du in OpenRefine eingegeben hast und kann von anderen für ähnliche Datensätze wiederverwendet werden. Dieser Abschnitt führt einige Geheimnisse auf, die für die Arbeit mit Wikidata hilfreich sein können. Siehe auch OpenRefine Recipes.
- Wikidata-Q-Nummern behalten. Wenn du eine Spalte mit Wikidata abgeglichen hast, kannst du die QIDs behalten, indem du den Befehl Add column based on this column mit folgendem GREL-Ausdruck ausführst:
cell.recon.match.id
- Mehr Variablen. Du kannst auf mehrere unterschiedliche Variablen für die abgeglichene Zelle zugreifen. Sie die Hilfeseite für Variablen.
- Teile deine Geheimnisse hier!
Unterstütze OpenRefine
OpenRefine benötigt deine Hilfe! Es gibt viele Dinge, die du tun kannst:
- verbessere diese Dokumentation oder das OpenRefine-Wiki
- hilf bei der Übersetzung von OpenRefine in deine Sprache mit Weblate
- trage zur Entwicklung von OpenRefine oder Funktionen mit Bezug zu Wikidata bei
- beteilige dich an der Unterstützung von Benutzern, beispielsweise über die Mailingliste
Wir haben ein Phabricator-Projekt, das alle Aktivitäten rund um OpenRefine in Wikimedia verfolgt; fühle dich frei, alle Aufgaben mit Bezug hierzu damit zu markieren.
Over 2021-22, OpenRefine is being extended with Structured Data on Wikimedia Commons (SDC) support. This project is funded by a Wikimedia Foundation Project Grant.