# Карточки датасетов

## Что такое карточки датасетов?

Каждый набор данных может быть задокументирован в файле `README.md` в репозитории. Этот файл называется **карточкой набора данных**, и Hugging Face Hub отображает его содержимое на главной странице набора данных. Чтобы сообщить пользователям, как ответственно использовать данные, имеет смысл включить информацию о возможных предвзятостях в наборе данных. Как правило, карточки наборов данных помогают пользователям понять содержимое набора данных и дают контекст о том, как следует использовать этот набор данных.

Вы также можете добавить метаданные набора данных в вашу карточку. Метаданные описывают важную информацию о наборе данных, например, его лицензию, язык и размер. Они также содержат теги, которые помогают пользователям находить набор данных на Hub, и параметры [конфигурации файлов данных](./datasets-manual-configuration). Теги определяются в разделе YAML-метаданных в начале файла `README.md`.

## Метаданные карточки набора данных

Репозиторий датасета отображает свой README.md в виде карточки датасета. Чтобы управлять отображением карточки на Hub, создайте в файле README раздел YAML для определения метаданных. Начните с добавления трёх --- в начало файла, затем укажите все необходимые метаданные и завершите раздел ещё одной группой ---, как показано в примере ниже:

```yaml
language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2
```

Метаданные, которые вы добавляете в карточку набора данных, обеспечивают определенные взаимодействия на платформе Hub. Например:

* Позволяет пользователям фильтровать и находить датасеты на https://huggingface.co/datasets.
* Если вы выберете лицензию, используя ключевые слова, перечисленные в правой колонке [этой таблицы](./repositories-licenses), лицензия будет отображена на странице набора данных.

При создании файла README.md в репозитории датасета на Hub используйте Metadata UI для заполнения основных метаданных:

    
    

Чтобы просмотреть поля метаданных, ознакомьтесь с подробными [спецификациями карточки набора данных](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1).

### Руководство по созданию карточки набора данных

Пошаговое руководство по созданию карточки набора данных — в статье [Create a dataset card](https://huggingface.co/docs/datasets/dataset_card).

Изучение существующих карточек датасетов, например [карточки датасета ELI5](https://huggingface.co/datasets/eli5/blob/main/README.md), — отличный способ ознакомиться с общепринятыми соглашениями.

### Связывание статьи

Если карточка набора данных содержит ссылку на страницу статьи (на HF или на аннотацию/PDF в Arxiv), Hub извлечёт идентификатор arXiv и добавит его в теги набора данных в формате `arxiv:<PAPER ID>`. Нажатие на тег позволит вам:

* Перейдите на страницу статьи
* Фильтр для других моделей на Hub, ссылающихся на ту же статью.

Подробнее о страницах статей — [здесь](./paper-pages).

### Принудительно задать модальность набора данных

Hub автоматически определяет модальность набора данных на основе содержащихся в нём файлов (аудио, видео, геоданные и т. д.). Если вы хотите принудительно задать конкретную модальность, добавьте соответствующий тег в метаданные карточки набора данных: `3d`, `audio`, `geospatial`, `image`, `tabular`, `text`, `timeseries`, `video`.

Например, чтобы задать модальность `audio`, добавьте следующее в метаданные карточки набора данных:

```yaml
tags:
- audio
```

### Связать библиотеку с набором данных

Страница набора данных автоматически отображает библиотеки и инструменты, способные загружать его нативно, но если вы хотите указать другую конкретную библиотеку, вы можете добавить тег в метаданные карточки набора данных. Поддерживаемые теги включают `agentenv`, `argilla`, `dask`, `datasets`, `distilabel`, `fiftyone`, `harbor`, `mlcroissant`, `nemo-gym`, `openenv`, `pandas`, `verifiers` и `webdataset`. Полный список, а также возможность предложить новую библиотеку, доступны в [списке поддерживаемых библиотек](https://github.com/huggingface/huggingface.js/blob/main/packages/tasks/src/dataset-libraries.ts).

Например, чтобы связать библиотеку `argilla` с карточкой набора данных, добавьте следующее в метаданные карточки набора данных:

```yaml
tags:
- argilla
```

### Объявление набора данных для среды RL

An RL environment is an ordinary dataset repository whose files can be consumed by one or more environment frameworks. Add the `rl-environment` tag to make the dataset discoverable with the **RL Environments** filter, then add a tag for each supported framework. The framework tags also add their generated commands to **Use this dataset**.

Например, набор данных, содержащий каталоги задач Harbor, которые также могут быть загружены с помощью Verifiers, использует следующую YAML-карточку набора данных:

```yaml
---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---
```

Поддерживаемые теги фреймворков среды:

| Метка | Фреймворк |
| --- | --- |
| `harbor` | [Harbor](https://github.com/harbor-framework/harbor) |
| `verifiers` | [Верификаторы](https://github.com/PrimeIntellect-ai/verifiers) |
| `openenv` | [OpenEnv](https://github.com/huggingface/OpenEnv) |
| `nemo-gym` | [NeMo Gym](https://github.com/NVIDIA-NeMo/Gym) |
| `agentenv` | [AgentEnv](https://github.com/scaleapi/agentenv-framework) |

Эти теги описывают совместимость и генерируют команды загрузки. Они не создают новый тип репозитория и не заставляют Hub выполнять окружение.