Shortcut: WD:ORВикиданные:Инструменты/OpenRefine
.svg)
OpenRefine - свободный инструмент для извлечения и очистки табличных данных, которые можно связать с базами знаний, включая Викиданные. Он был разработан Google (под названием Google Refine) и сейчас превратился в проект, поддерживаемый сообществом.
На этой странице собраны рецепты OpenRefine, которые могут быть полезны для импорта наборов данных в Викиданные или дополнения наборов данных дополнительными данными, извлеченными из Викиданных. Не стесняйтесь использовать страницу обсуждения, чтобы попросить помощи по работе с программным обеспечением. Если вам нравится использовать этот инструмент, вы можете рассказать об этом с помощью пользовательского баннера {{Пользователь любит OpenRefine}}.
OpenRefine currently only supports reconciling items. Lexemes are not supported as of September 2022.
Install and run OpenRefine
OpenRefine can be downloaded as an application. It works on desktop and laptop computers with Windows, Mac and Linux operating systems. It runs a small server on your computer and you then use a web browser to interact with it. It works best with browsers based on Webkit, such as Google Chrome, Chromium, Opera and Microsoft Edge, and is also supported on Firefox.
OpenRefine has a graphical user interface which is available in more than 15 languages.
Install OpenRefine on your own desktop or laptop computer
You can find and download the latest stable release of OpenRefine here.
Run OpenRefine on PAWS
Since May 2021, everyone with a registered Wikimedia account can run OpenRefine in PAWS on Wikimedia's Cloud Services. Please note that this is an experimental feature which is not supported by the OpenRefine team itself, and which may break or malfunction. It is however an interesting option for people who can't install software on their local computer.
PAWS is a Wikimedia Cloud tool that provides hosted access to Jupyter notebooks and other tools without needing any local installation.
You can access your own installation of OpenRefine with this link: https://hub-paws.wmcloud.org/hub/user-redirect/openrefine. You'll have to login with your wiki credentials, but don't tick Remember me box: as all files written on PAWS are publicly available, you don't want to let your credentials accessible. It is also possible that you will get an error message; if that is the case, then refresh the page and it should work.
Please contact YuviPanda with questions about OpenRefine via PAWS.
Основные функции
Связывание Викиданных
В терминологии OpenRefine связывание -- это процесс привязки текстовых данных из таблицы к идентификаторам в базе знаний. Встроенные в OpenRefine возможности связывания делают его гибким инструментом для связи табличных данных с большим количеством баз данных, в том числе с Викиданными.
OpenRefine вики содержит подробное руководство по процессу связывания. Вот его основные принципы:
- Ограничьте связывание одним классом Викиданных. Только элементы из подклассов этого класса Викиданных будут рассматриваться;
- Используйте несколько столбцов в вашем наборе данных и сопоставьте их со значениями свойств в Викиданных, которые уточняют оценку связывания и действуют как разрыв связи между одноименными объектами;
- Используйте внешние идентификаторы, совместно используемые вашим набором данных и Викиданными, чтобы связать ваши объекты;
- Используйте дополнительные ссылки, предоставленные в вашем наборе данных, в качестве внешних идентификаторов - если эти страницы Викимедиа связаны с элементом Викиданных, они будут автоматически связаны.
Если вы хотите использовать функции связывания, можно обратиться к следующим инструкциям:
- Функции подробно описаны Оуэном Стивенсом в его серии скринкастов.
APIs can be, for instance a search on frlabels with wikidata thanks to this link https://wikidata.reconci.link/fr/api.
Добавление данных
Эта функция доступна в OpenRefine, начиная с версии 2.8.
После связывания столбца вашей таблицы с Викиданными вы можете извлекать данные из Викиданных, создавая другие столбцы в вашем наборе данных. Если для данного свойства есть несколько утверждений, значения будут сгруппированы как «записи» в OpenRefine: они хранятся в дополнительных строках, где исходный связанный столбец пуст. Поэтому «режим записи» OpenRefine может быть более подходящим для последующих преобразований, которые вы хотите выполнить в своей таблице.
Вы можете использовать эту функцию рекурсивно для вновь создаваемых столбцов, если они соответствуют элементам Викиданных. Это позволяет вам исследовать график Викиданных для выбранных свойств. Также возможно настроить способ получения свойств различными способами (например, фильтрация по рангу или ссылкам).
Редактирование Викиданных
Эта функция доступна в OpenRefine, начиная с версии 3.0.
OpenRefine может помочь вам преобразовать табличные данные в операторы Викиданных. Это работает путем создания «схемы» — шаблона редактирования Викиданных, который применяется к каждой строке вашей таблицы. После того как вы создали схему, вы можете:
- предварительный просматривать правки Викиданных и проверять их вручную;
- анализировать и исправлять любые недочёты, созданные автоматически;
- загрузить свои изменения в Викиданные, войдя в систему под своей учетной записью;
- экспортировать изменения в формат QuickStatements, 1-й версии.
См. подстраница редактирования для получения более подробной информации. Для начала вам доступно множество учебных пособий.
Рецепты
OpenRefine workflows can be shared by copying the JSON representation of the edit history. This represents the operations you have made in OpenRefine, and can be reused by others on similar datasets. This section lists some recipes that can be useful when working with Wikidata. See also OpenRefine Recipes.
- 'Получение Q номера Викиданных' После того, как вы согласовали столбец с Викиданными, вы можете получить идентификатор Q в новом столбце, используя операцию Добавить столбец на основе этого столбца со следующим выражением GREL :
cell.recon.match.id </ code>
- More variables. You can access many different variables for the reconciled cell. See the reference page for variables.
- Поделитесь своим рецептом здесь!
Помочь OpenRefine
OpenRefine нуждается в вашей помощи! Есть много вещей, которые вы можете сделать:
- improve this documentation or OpenRefine's own documentation
- help translate OpenRefine in your language with Weblate
- contribute to OpenRefine's development or more specifically on Wikidata-related features
- get involved in user support, for instance on the forum
We have a Phabricator project to track activity around OpenRefine within Wikimedia; feel free to tag any related task with it.
Over 2021-22, OpenRefine is being extended with Structured Data on Wikimedia Commons (SDC) support. This project is funded by a Wikimedia Foundation Project Grant.