Карточки датасетов

Что такое карточки датасетов?

Каждый набор данных может быть задокументирован в файле README.md в репозитории. Этот файл называется карточкой набора данных, и Hugging Face Hub отображает его содержимое на главной странице набора данных. Чтобы сообщить пользователям, как ответственно использовать данные, имеет смысл включить информацию о возможных предвзятостях в наборе данных. Как правило, карточки наборов данных помогают пользователям понять содержимое набора данных и дают контекст о том, как следует использовать этот набор данных.

Вы также можете добавить метаданные набора данных в вашу карточку. Метаданные описывают важную информацию о наборе данных, например, его лицензию, язык и размер. Они также содержат теги, которые помогают пользователям находить набор данных на Hub, и параметры конфигурации файлов данных. Теги определяются в разделе YAML-метаданных в начале файла README.md.

Метаданные карточки набора данных

Репозиторий датасета отображает свой README.md в виде карточки датасета. Чтобы управлять отображением карточки на Hub, создайте в файле README раздел YAML для определения метаданных. Начните с добавления трёх --- в начало файла, затем укажите все необходимые метаданные и завершите раздел ещё одной группой ---, как показано в примере ниже:

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Метаданные, которые вы добавляете в карточку набора данных, обеспечивают определенные взаимодействия на платформе Hub. Например:

• Позволяет пользователям фильтровать и находить датасеты на https://huggingface.co/datasets.
• Если вы выберете лицензию, используя ключевые слова, перечисленные в правой колонке этой таблицы, лицензия будет отображена на странице набора данных.

При создании файла README.md в репозитории датасета на Hub используйте Metadata UI для заполнения основных метаданных:

Чтобы просмотреть поля метаданных, ознакомьтесь с подробными спецификациями карточки набора данных.

Руководство по созданию карточки набора данных

Пошаговое руководство по созданию карточки набора данных — в статье Create a dataset card.

Изучение существующих карточек датасетов, например карточки датасета ELI5, — отличный способ ознакомиться с общепринятыми соглашениями.

Связывание статьи

Если карточка набора данных содержит ссылку на страницу статьи (на HF или на аннотацию/PDF в Arxiv), Hub извлечёт идентификатор arXiv и добавит его в теги набора данных в формате arxiv:<PAPER ID>. Нажатие на тег позволит вам:

• Перейдите на страницу статьи
• Фильтр для других моделей на Hub, ссылающихся на ту же статью.

Подробнее о страницах статей — здесь.

Принудительно задать модальность набора данных

Hub автоматически определяет модальность набора данных на основе содержащихся в нём файлов (аудио, видео, геоданные и т. д.). Если вы хотите принудительно задать конкретную модальность, добавьте соответствующий тег в метаданные карточки набора данных: 3d, audio, geospatial, image, tabular, text, timeseries, video.

Например, чтобы задать модальность audio, добавьте следующее в метаданные карточки набора данных:

tags:
- audio

Связать библиотеку с набором данных

Страница набора данных автоматически отображает библиотеки и инструменты, способные загружать его нативно, но если вы хотите указать другую конкретную библиотеку, вы можете добавить тег в метаданные карточки набора данных. Поддерживаемые теги включают agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers и webdataset. Полный список, а также возможность предложить новую библиотеку, доступны в списке поддерживаемых библиотек.

Например, чтобы связать библиотеку argilla с карточкой набора данных, добавьте следующее в метаданные карточки набора данных:

tags:
- argilla

Объявление набора данных для среды RL

An RL environment is an ordinary dataset repository whose files can be consumed by one or more environment frameworks. Add the rl-environment tag to make the dataset discoverable with the RL Environments filter, then add a tag for each supported framework. The framework tags also add their generated commands to Use this dataset.

Например, набор данных, содержащий каталоги задач Harbor, которые также могут быть загружены с помощью Verifiers, использует следующую YAML-карточку набора данных:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

Поддерживаемые теги фреймворков среды:

Эти теги описывают совместимость и генерируют команды загрузки. Они не создают новый тип репозитория и не заставляют Hub выполнять окружение.